Stream Processing with Kafka Streams Počítačový Kurz

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí integrovat Apache Kafka se stávajícími databázemi a aplikacemi pro zpracování, analýzu atd.

Na konci tohoto školení budou účastníci schopni:

• Použít Kafka Connect k načtení většiny dat ze systému databáze do témat Kafka.
• Načíst log data generovaná aplikací serverů do témat Kafka.
• Zpřístupnit Make jakékoli sbírané data pro streamování a zpracování.
• Exportovat data ze systému témat Kafka do sekundárních systémů pro úložiště a analýzu.

Apache Beam je unifikovaný programovací model s otevřeným zdrojovým kódem pro definování a spouštění paralelních kanálů zpracování dat. Jeho síla spočívá v jeho schopnosti spouštět jak dávkové, tak streamingové kanály, přičemž spouštění je prováděno jedním z podporovaných back-endů distribuovaného zpracování Beam: Apache Apex, Apache Flink, Apache Spark a Google Cloud Dataflow. Apache Beam je užitečný pro úlohy ETL (Extract, Transform, and Load), jako je přesun dat mezi různými paměťovými médii a zdroji dat, transformace dat do vhodnějšího formátu a načítání dat do nového systému.

V tomto živém školení vedeném instruktorem (na místě nebo na dálku) se účastníci naučí, jak implementovat Apache Beam SDK v Java nebo Python aplikaci, která definuje kanál pro zpracování dat pro rozložení velké datové sady na menší kusy. pro nezávislé paralelní zpracování.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Beam.
• Použijte jediný programovací model k provádění dávkového i proudového zpracování v rámci jejich Java nebo Python aplikace.
• Spouštějte kanály v různých prostředích.

Formát kurzu

• Část přednáška, část diskuse, cvičení a těžké praktické cvičení

Poznámka

• Tento kurz bude k dispozici Scala v budoucnu. Pro domluvu nás prosím kontaktujte.

Toto živé školení vedené instruktorem (online nebo na místě) je zaměřeno na inženýry, kteří chtějí používat Confluent (distribuci Kafka) k vybudování a správě platformy pro zpracování dat v reálném čase pro své aplikace.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Confluent Platform.
• Používat správní nástroje a služby Confluentu pro jednodušší běh Kafka.
• Ukládat a zpracovávat přicházející datové proudy.
• Optymalizovat a spravovat Kafka cluster.
• Zabezpečit datové proudy.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praxe.
• Ruční implementace v prostředí live-lab.

Možnosti přizpůsobení kurzu

• Toto školení je založeno na open source verzi Confluent: Confluent Open Source.
• Pro požadavek na individualizované školení tohoto kurz, kontaktujte nás pro uspořádání.

Apache Kafka je distribuovaná streamovací platforma. Je to de facto standard pro budování datových kanálů a řeší mnoho různých případů použití kolem zpracování dat: lze jej použít jako frontu zpráv, distribuovaný protokol, stream procesor atd.

Začneme nějakou teorií za datovými kanály obecně, pak budeme pokračovat základními koncepty Kafky. Objevíme také důležité součásti, jako jsou Kafka Streams a Kafka Connect.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) představuje principy a přístupy za distribuovaným streamem a dávkovým zpracováním dat a provede účastníky vytvořením aplikace pro streamování dat v reálném čase v Apache Flink.

Na konci tohoto školení budou účastníci schopni:

• Nastavte prostředí pro vývoj aplikací pro analýzu dat.
• Pochopte, jak funguje knihovna pro zpracování grafů (Gelly) Apache Flink.
• Zabalte, spouštějte a monitorujte aplikace pro streamování dat založené na Flink, odolné proti chybám.
• Zvládejte různé pracovní zátěže.
• Provádějte pokročilé analýzy.
• Nastavte víceuzlový cluster Flink.
• Měřte a optimalizujte výkon.
• Integrujte Flink s různými Big Data systémy.
• Porovnejte funkce Flink s funkcemi jiných rámců pro zpracování velkých dat.

V tomto živém školení pod vedením instruktora v České republice (na místě nebo na dálku) se účastníci naučí, jak nastavit a integrovat různé Stream Processing rámce se stávajícími systémy ukládání velkých dat a souvisejícími softwarovými aplikacemi a mikroslužbami.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte různé Stream Processing frameworky, jako je Spark Streaming a Kafka Streaming.
• Pochopte a vyberte nejvhodnější rámec pro danou práci.
• Zpracování dat nepřetržitě, souběžně a záznam po záznamu.
• Integrujte Stream Processing řešení se stávajícími databázemi, datovými sklady, datovými jezery atd.
• Integrujte nejvhodnější knihovnu pro zpracování datových proudů s podnikovými aplikacemi a mikroslužbami.

Tento kurz je určen pro podnikové architekty, vývojáře, systémové administrátory a kohokoli, kdo chce porozumět a používat vysoce výkonný systém distribuovaného zasílání zpráv. Pokud máte specifičtější požadavky (např. pouze strana správy systému), lze tento kurz upravit tak, aby lépe vyhovoval vašim potřebám.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na systémové správce, kteří chtějí nastavit, nasadit, spravovat a optimalizovat cluster Kafka na podnikové úrovni.

Na konci tohoto školení budou účastníci schopni:

• Vytvořte a spravujte Kafka Cluster.
• Vyhodnoťte výhody a nevýhody nasazení Kafka on-premise vs. v cloudu.
• Nasaďte a monitorujte Kafku pomocí různých on-premise a cloudových nástrojů prostředí.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové inženýry, datové vědce a programátory, kteří chtějí používat funkce Apache Kafka při streamování dat s Python.

Na konci tohoto školení budou účastníci schopni používat Apache Kafka k monitorování a řízení podmínek v nepřetržitých datových tocích pomocí programování Python.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí implementovat zpracování Apache Kafka streamu bez psaní kódu.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Confluence KSQL.
• Nastavte kanál zpracování datového proudu pouze pomocí příkazů SQL (bez kódování Java nebo Python).
• Provádějte filtrování dat, transformace, agregace, spojení, okna a sessionization zcela v SQL.
• Navrhněte a nasaďte interaktivní, nepřetržité dotazy pro streamování ETL a analýzy v reálném čase.

V tomto živém školení vedeném instruktorem v České republice (na místě nebo na dálku) se účastníci naučí, jak nasadit a spravovat Apache NiFi v živém laboratorním prostředí.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apachi NiFi.
• Zdroj, transformace a správa dat z nesourodých, distribuovaných zdrojů dat, včetně databází a velkých datových jezer.
• Automatizujte datové toky.
• Povolit analýzu streamování.
• Aplikujte různé přístupy ke zpracování dat.
• Transformujte Big Data do obchodních postřehů.

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí základy programování založeného na toku při vývoji řady demo rozšíření, komponent a procesorů pomocí Apache NiFi.

Na konci tohoto školení budou účastníci schopni:

• Pochopte architekturu a koncepty toku dat NiFi.
• Vyvíjejte rozšíření pomocí NiFi a API třetích stran.
• Vlastní vývoj vlastního procesoru Apache Nifi.
• Ingestujte a zpracujte data v reálném čase z různorodých a neobvyklých formátů souborů a zdrojů dat.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové inženýry, datové vědce a programátory, kteří chtějí používat funkce Spark Streaming při zpracování a analýze dat v reálném čase.

Na konci tohoto školení budou účastníci schopni používat Spark Streaming ke zpracování živých datových toků pro použití v databázích, souborových systémech a živých řídicích panelech.