Apache Kafka for Python Programmers Počítačový Kurz

Apache Beam je unifikovaný programovací model s otevřeným zdrojovým kódem pro definování a spouštění paralelních kanálů zpracování dat. Jeho síla spočívá v jeho schopnosti spouštět jak dávkové, tak streamingové kanály, přičemž spouštění je prováděno jedním z podporovaných back-endů distribuovaného zpracování Beam: Apache Apex, Apache Flink, Apache Spark a Google Cloud Dataflow. Apache Beam je užitečný pro úlohy ETL (Extract, Transform, and Load), jako je přesun dat mezi různými paměťovými médii a zdroji dat, transformace dat do vhodnějšího formátu a načítání dat do nového systému.

V tomto živém školení vedeném instruktorem (na místě nebo na dálku) se účastníci naučí, jak implementovat Apache Beam SDK v Java nebo Python aplikaci, která definuje kanál pro zpracování dat pro rozložení velké datové sady na menší kusy. pro nezávislé paralelní zpracování.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Beam.
• Použijte jediný programovací model k provádění dávkového i proudového zpracování v rámci jejich Java nebo Python aplikace.
• Spouštějte kanály v různých prostředích.

Formát kurzu

• Část přednáška, část diskuse, cvičení a těžké praktické cvičení

Poznámka

• Tento kurz bude k dispozici Scala v budoucnu. Pro domluvu nás prosím kontaktujte.

Toto živé školení vedené instruktorem (online nebo na místě) je zaměřeno na inženýry, kteří chtějí používat Confluent (distribuci Kafka) k vybudování a správě platformy pro zpracování dat v reálném čase pro své aplikace.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Confluent Platform.
• Používat správní nástroje a služby Confluentu pro jednodušší běh Kafka.
• Ukládat a zpracovávat přicházející datové proudy.
• Optymalizovat a spravovat Kafka cluster.
• Zabezpečit datové proudy.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praxe.
• Ruční implementace v prostředí live-lab.

Možnosti přizpůsobení kurzu

• Toto školení je založeno na open source verzi Confluent: Confluent Open Source.
• Pro požadavek na individualizované školení tohoto kurz, kontaktujte nás pro uspořádání.

Apache Kafka je distribuovaná streamovací platforma. Je to de facto standard pro budování datových kanálů a řeší mnoho různých případů použití kolem zpracování dat: lze jej použít jako frontu zpráv, distribuovaný protokol, stream procesor atd.

Začneme nějakou teorií za datovými kanály obecně, pak budeme pokračovat základními koncepty Kafky. Objevíme také důležité součásti, jako jsou Kafka Streams a Kafka Connect.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) představuje principy a přístupy za distribuovaným streamem a dávkovým zpracováním dat a provede účastníky vytvořením aplikace pro streamování dat v reálném čase v Apache Flink.

Na konci tohoto školení budou účastníci schopni:

• Nastavte prostředí pro vývoj aplikací pro analýzu dat.
• Pochopte, jak funguje knihovna pro zpracování grafů (Gelly) Apache Flink.
• Zabalte, spouštějte a monitorujte aplikace pro streamování dat založené na Flink, odolné proti chybám.
• Zvládejte různé pracovní zátěže.
• Provádějte pokročilé analýzy.
• Nastavte víceuzlový cluster Flink.
• Měřte a optimalizujte výkon.
• Integrujte Flink s různými Big Data systémy.
• Porovnejte funkce Flink s funkcemi jiných rámců pro zpracování velkých dat.

V tomto živém školení pod vedením instruktora v České republice (na místě nebo na dálku) se účastníci naučí, jak nastavit a integrovat různé Stream Processing rámce se stávajícími systémy ukládání velkých dat a souvisejícími softwarovými aplikacemi a mikroslužbami.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte různé Stream Processing frameworky, jako je Spark Streaming a Kafka Streaming.
• Pochopte a vyberte nejvhodnější rámec pro danou práci.
• Zpracování dat nepřetržitě, souběžně a záznam po záznamu.
• Integrujte Stream Processing řešení se stávajícími databázemi, datovými sklady, datovými jezery atd.
• Integrujte nejvhodnější knihovnu pro zpracování datových proudů s podnikovými aplikacemi a mikroslužbami.

Tento kurz je určen pro podnikové architekty, vývojáře, systémové administrátory a kohokoli, kdo chce porozumět a používat vysoce výkonný systém distribuovaného zasílání zpráv. Pokud máte specifičtější požadavky (např. pouze strana správy systému), lze tento kurz upravit tak, aby lépe vyhovoval vašim potřebám.

Kafka Streams je knihovna na straně klienta pro vytváření aplikací a mikroslužeb, jejichž data jsou předávána do a ze systému zasílání zpráv Kafka. Tradičně se Apache Kafka při zpracování dat mezi producenty zpráv a spotřebiteli spoléhal na Apache Spark nebo Apache Storm. Voláním Kafka Streams API z aplikace mohou být data zpracována přímo v Kafka, čímž se obejde nutnost odesílání dat ke zpracování do samostatného clusteru.

V tomto živém školení vedeném instruktorem se účastníci naučí, jak integrovat Kafka Streams do sady ukázkových Java aplikací, které předávají data do az Apache Kafka pro zpracování streamů.

Na konci tohoto školení budou účastníci schopni:

• Pochopit vlastnosti a přednosti Kafka Streams ve srovnání s jinými rámci pro zpracování streamů
• Zpracovávat datové streamy přímo uvnitř clusteru Kafka
• Napsat Java nebo Scala aplikaci nebo mikroslužbu, která se integruje s Kafka a Kafka Streams
• Napsat koncizní kód, který transformuje vstupní Kafka témata do výstupních Kafka tématických okén
• Sestavit, zabalit a nasadit aplikaci

Publikum

• Vývojáři

Formát kurzu

• Část přednášky, část diskuse, cvičení a značné množství praktické praxe

Poznámky

• Pro žádost o individualizované školení tohoto kurzu nás kontaktujte pro dohodu

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí implementovat zpracování Apache Kafka streamu bez psaní kódu.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Confluence KSQL.
• Nastavte kanál zpracování datového proudu pouze pomocí příkazů SQL (bez kódování Java nebo Python).
• Provádějte filtrování dat, transformace, agregace, spojení, okna a sessionization zcela v SQL.
• Navrhněte a nasaďte interaktivní, nepřetržité dotazy pro streamování ETL a analýzy v reálném čase.

V tomto živém školení vedeném instruktorem v České republice (na místě nebo na dálku) se účastníci naučí, jak nasadit a spravovat Apache NiFi v živém laboratorním prostředí.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apachi NiFi.
• Zdroj, transformace a správa dat z nesourodých, distribuovaných zdrojů dat, včetně databází a velkých datových jezer.
• Automatizujte datové toky.
• Povolit analýzu streamování.
• Aplikujte různé přístupy ke zpracování dat.
• Transformujte Big Data do obchodních postřehů.

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí základy programování založeného na toku při vývoji řady demo rozšíření, komponent a procesorů pomocí Apache NiFi.

Na konci tohoto školení budou účastníci schopni:

• Pochopte architekturu a koncepty toku dat NiFi.
• Vyvíjejte rozšíření pomocí NiFi a API třetích stran.
• Vlastní vývoj vlastního procesoru Apache Nifi.
• Ingestujte a zpracujte data v reálném čase z různorodých a neobvyklých formátů souborů a zdrojů dat.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové inženýry, datové vědce a programátory, kteří chtějí používat funkce Spark Streaming při zpracování a analýze dat v reálném čase.

Na konci tohoto školení budou účastníci schopni používat Spark Streaming ke zpracování živých datových toků pro použití v databázích, souborových systémech a živých řídicích panelech.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí transformovat tradiční architekturu na vysoce souběžnou architekturu založenou na mikroslužbách pomocí Spring Cloud, Kafka, Docker, Kubernetes a Redis.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné vývojové prostředí pro budování mikroslužeb.
• Navrhněte a implementujte vysoce souběžný ekosystém mikroslužeb pomocí Spring Cloud, Kafka, Redis, Docker a Kubernetes.
• Transformujte monolitické a SOA služby na architekturu založenou na mikroslužbách.
• Přijměte přístup DevOps k vývoji, testování a vydávání softwaru.
• Zajistit vysokou souběžnost mezi mikroslužbami ve výrobě.
• Monitorujte mikroslužby a implementujte strategie obnovy.
• Proveďte ladění výkonu.
• Seznamte se s budoucími trendy v architektuře mikroslužeb.