Distributed Messaging with Apache Kafka Počítačový Kurz

Apache Samza je open-source asynchronní výpočetní framework pro zpracování streamů téměř v reálném čase. Používá Apache Kafka pro zasílání zpráv a Apache Hadoop YARN pro odolnost proti chybám, izolaci procesoru, zabezpečení a správu zdrojů.

Toto živé školení vedené instruktorem představuje principy systémů zasílání zpráv a distribuovaného zpracování datových proudů, přičemž účastníky provede vytvořením vzorového projektu založeného na Samze a provedením úlohy.

Na konci tohoto školení budou účastníci schopni:

Použijte Samza ke zjednodušení kódu potřebného k vytváření a používání zpráv. Oddělte zpracování zpráv od aplikace. Použijte Samza k implementaci asynchronních výpočtů téměř v reálném čase. Použijte zpracování toku k zajištění vyšší úrovně abstrakce oproti systémům zasílání zpráv.

Publikum

Vývojáři

Formát kurzu

Část přednáška, část diskuse, cvičení a těžké praktické cvičení

Kafka Streams je knihovna na straně klienta pro vytváření aplikací a mikroslužeb, jejichž data jsou předávána do a ze systému zasílání zpráv Kafka. Tradičně se Apache Kafka při zpracování dat mezi producenty zpráv a spotřebiteli spoléhal na Apache Spark nebo Apache Storm. Voláním Kafka Streams API z aplikace mohou být data zpracována přímo v Kafka, čímž se obejde nutnost odesílání dat ke zpracování do samostatného clusteru.

V tomto živém školení vedeném instruktorem se účastníci naučí, jak integrovat Kafka Streams do sady ukázkových Java aplikací, které předávají data do az Apache Kafka pro zpracování streamů.

Na konci tohoto školení budou účastníci schopni:

Pochopte funkce a výhody Kafka Streams oproti jiným rámcům pro zpracování datových proudů Zpracovávejte data streamu přímo v clusteru Kafka Napište Java nebo Scala aplikaci nebo mikroslužbu, která se integruje s Kafka a Kafka Streams Napište stručný kód, který transformuje vstupní témata Kafka na výstupní témata Kafka Build, zabalit a nasadit aplikaci

Publikum

Vývojáři

Formát kurzu

Část přednáška, část diskuse, cvičení a těžké praktické cvičení

Poznámky

Chcete-li požádat o školení na míru pro tento kurz, kontaktujte nás a domluvíme se

V tomto živém školení pod vedením instruktora v České republice (na místě nebo na dálku) se účastníci naučí, jak nastavit a integrovat různé Stream Processing rámce se stávajícími systémy ukládání velkých dat a souvisejícími softwarovými aplikacemi a mikroslužbami.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte různé Stream Processing frameworky, jako je Spark Streaming a Kafka Streaming.
• Pochopte a vyberte nejvhodnější rámec pro danou práci.
• Zpracování dat nepřetržitě, souběžně a záznam po záznamu.
• Integrujte Stream Processing řešení se stávajícími databázemi, datovými sklady, datovými jezery atd.
• Integrujte nejvhodnější knihovnu pro zpracování datových proudů s podnikovými aplikacemi a mikroslužbami.

Toto živé školení vedené instruktorem (online nebo na místě) je zaměřeno na inženýry, kteří chtějí používat Confluent (distribuci Kafka) k vybudování a správě platformy pro zpracování dat v reálném čase pro své aplikace.

Na konci tohoto školení budou účastníci schopni:

Nainstalujte a nakonfigurujte platformu Confluence. Používejte nástroje a služby pro správu společnosti Confluent ke snadnějšímu provozu Kafky. Ukládat a zpracovávat data příchozího proudu. Optimalizujte a spravujte clustery Kafka. Zabezpečené datové toky.

Formát kurzu

Interaktivní přednáška a diskuze. Spousta cvičení a praxe. Praktická implementace v prostředí živé laboratoře.

Možnosti přizpůsobení kurzu

Tento kurz je založen na open source verzi Confluent: Confluent Open Source. Chcete-li požádat o školení na míru pro tento kurz, kontaktujte nás a domluvíme se.

Apache Kafka je distribuovaná streamovací platforma. Je to de facto standard pro budování datových kanálů a řeší mnoho různých případů použití kolem zpracování dat: lze jej použít jako frontu zpráv, distribuovaný protokol, stream procesor atd.

Začneme nějakou teorií za datovými kanály obecně, pak budeme pokračovat základními koncepty Kafky. Objevíme také důležité součásti, jako jsou Kafka Streams a Kafka Connect.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí transformovat tradiční architekturu na vysoce souběžnou architekturu založenou na mikroslužbách pomocí Spring Cloud, Kafka, Docker, Kubernetes a Redis.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné vývojové prostředí pro budování mikroslužeb.
• Navrhněte a implementujte vysoce souběžný ekosystém mikroslužeb pomocí Spring Cloud, Kafka, Redis, Docker a Kubernetes.
• Transformujte monolitické a SOA služby na architekturu založenou na mikroslužbách.
• Přijměte přístup DevOps k vývoji, testování a vydávání softwaru.
• Zajistit vysokou souběžnost mezi mikroslužbami ve výrobě.
• Monitorujte mikroslužby a implementujte strategie obnovy.
• Proveďte ladění výkonu.
• Seznamte se s budoucími trendy v architektuře mikroslužeb.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí integrovat Apache Kafka se stávajícími databázemi a aplikacemi pro zpracování, analýzu atd.

Na konci tohoto školení budou účastníci schopni:

• Použijte Kafka Connect ke zpracování velkého množství dat z databáze do témat Kafka.
• Ingest log data generovaná aplikačním serverem do témat Kafka.
• Zpřístupněte všechna shromážděná data pro zpracování streamu.
• Exportujte data z Kafkových témat do sekundárních systémů pro ukládání a analýzu.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí implementovat zpracování Apache Kafka streamu bez psaní kódu.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Confluent KSQL.
• Nastavte kanál zpracování datového proudu pouze pomocí příkazů SQL (žádné kódování Java nebo Python).
• Provádějte filtrování dat, transformace, agregace, spojení, vytváření oken a sessions výhradně v SQL.
• Navrhněte a nasaďte interaktivní, nepřetržité dotazy pro streamování ETL a analýzy v reálném čase.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na systémové správce, kteří chtějí nastavit, nasadit, spravovat a optimalizovat cluster Kafka na podnikové úrovni.

Na konci tohoto školení budou účastníci schopni:

• Vytvořte a spravujte Kafka Cluster.
• Vyhodnoťte výhody a nevýhody nasazení Kafka on-premise vs. v cloudu.
• Nasaďte a monitorujte Kafku pomocí různých on-premise a cloudových nástrojů prostředí.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na testery softwaru, kteří chtějí implementovat opatření zabezpečení sítě do aplikace Apache Kafka.

Na konci tohoto školení budou účastníci schopni:

• Nasaďte Apache Kafka na cloudový server.
• Implementujte šifrování SSL, abyste zabránili útokům.
• Přidejte ověřování ACL pro sledování a řízení přístupu uživatelů.
• Zajistěte, aby důvěryhodní klienti měli přístup ke clusterům Kafka s ověřováním SSL a SASL.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové vědce, kteří chtějí použít SMACK stack k vybudování platforem pro zpracování dat pro řešení velkých dat.

Na konci tohoto školení budou účastníci schopni:

• Implementujte architekturu datového kanálu pro zpracování velkých dat.
• Vyvíjejte klastrovou infrastrukturu pomocí Apache Mesos a Docker.
• Analyzujte data pomocí Spark a Scala.
• Spravujte nestrukturovaná data pomocí Apache Cassandra.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové inženýry, datové vědce a programátory, kteří chtějí používat funkce Apache Kafka při streamování dat pomocí Python.

Na konci tohoto školení budou účastníci schopni používat Apache Kafka k monitorování a řízení podmínek v nepřetržitých datových tocích pomocí Python programování.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové inženýry, datové vědce a programátory, kteří chtějí používat funkce Spark Streaming při zpracování a analýze dat v reálném čase.

Na konci tohoto školení budou účastníci schopni používat Spark Streaming ke zpracování živých datových toků pro použití v databázích, souborových systémech a živých řídicích panelech.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na středně pokročilé vývojáře, kteří chtějí vyvíjet aplikace pro velká data s Apache Kafka.

Na konci tohoto školení budou účastníci schopni:

Rozvíjejte výrobce a spotřebitele Kafky, aby mohli odesílat a číst data z Kafky. Integrujte Kafku s externími systémy pomocí Kafka Connect. Pište streamovací aplikace pomocí Kafka Streams & ksqlDB. Integrujte klientskou aplikaci Kafka s cloudem Confluent pro cloudová nasazení Kafka. Získejte praktické zkušenosti prostřednictvím praktických cvičení a případů použití v reálném světě.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na středně pokročilé vývojáře, kteří se chtějí naučit základy Kafky a integrovat je s Spring Boot.

Na konci tohoto školení budou účastníci schopni:

Pochopte Kafku a jeho architekturu. Naučte se, jak nainstalovat, nakonfigurovat a nastavit základní prostředí Kafka. Integrujte Kafku s Spring Boot.