Stream Processing with Kafka Streams Počítačový Kurz
Kafka Streams je clientská knihovna pro vytváření aplikací a mikroslužeb, jejichž data jsou předávána do a z systému zpráv Kafka. Tradičně Apache Kafka spoléhal na Apache Spark nebo Apache Storm k zpracování dat mezi producenty a konzumenty zpráv. Voláním API Kafka Streams zevnitř aplikace lze data zpracovat přímo v rámci systému Kafka, čímž se eliminuje potřeba odesílání dat do odděleného clusteru pro zpracování.
V tomto instruktorem vedeném, živém školení se účastníci naučí integrovat Kafka Streams do sady ukázkových Java aplikací, které předávají data do a z Apache Kafka pro streamovací zpracování.
Na konci tohoto školení budou účastníci schopni:
- Pochopit vlastnosti a přednosti Kafka Streams oproti jiným streamovacím frameworkům
- Zpracovávat streamovací data přímo uvnitř clusteru Kafka
- Napsat Java nebo Scala aplikaci nebo mikroslužbu, která se integruje s Kafka a Kafka Streams
- Napsat stručný kód, který transformuje vstupní témata Kafka na výstupní témata Kafka
- Vybudovat, zabalit a nasadit aplikaci
Účastníci
- Vývojáři
Formát kurzu
- Půl přednášky, půl diskuse, cvičení a značné praktické procvičování
Poznámky
- Pro požadavek na přizpůsobené školení pro tento kurz, prosím kontaktujte nás k uspořádání
Návrh Školení
Úvod
- Kafka vs Spark, Flink a Storm
Přehled funkcí Kafka Streams
- Správa stavových a nestavových operací, zpracování událostí v čase, DSL, operace s okny založenými na čase události atd.
Případová studie: Kafka Streams API pro prediktivní rozpočtování
Nastavení vývojového prostředí
Vytvoření aplikace Kafka Streams
Spuštění clusteru Kafka
Příprava témat a vstupních dat
Možnosti zpracování streamových dat
- Vysokoúrovňové DSL pro Kafka Streams
- Nízkoúrovňový procesor
Převod vstupních dat
Prohlášení výstupních dat
Zastavení clusteru Kafka
Možnosti nasazení aplikace
- Klasické nástroje pro operace (Puppet, Chef a Salt)
- Docker
- Soubor WAR
Řešení problémů
Závěr a konkluzivní poznámky
Požadavky
- Pochopení Apache Kafka
- Zkušenosti s programováním v Javě
Veřejné školení vyžaduje minimálně 5 účastníků.
Stream Processing with Kafka Streams Počítačový Kurz - Rezervace
Stream Processing with Kafka Streams Počítačový Kurz - Dotaz
Stream Processing with Kafka Streams - Dotaz ohledně konzultace
Dotaz ohledně konzultace
Reference (1)
Recalling/reviewing keypoints of the topics discussed.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Kurz - Building Stream Processing Applications with Kafka Streams
Nadcházející kurzy
Související kurzy
Apache Kafka Connect
7 hodinyTato školení vedená instruktorem se koná v České republice (online nebo na místě) a je určená pro vývojáře, kteří chtějí integrovat Apache Kafka s existujícími databázemi a aplikacemi pro zpracování, analýzu atd.
Konec tohoto školení se účastníci budou schopni:
- Použít Kafka Connect ke čtení velkého množství dat z databáze do témat Kafka.
- Číst protokolovací data generovaná aplikačními servery do témat Kafka.
- Zpřístupnit jakákoli shromážděná data pro streamování a zpracování dat.
- Exportovat data z témat Kafka do vedlejších systémů pro ukládání a analýzu.
Building Kafka Solutions with Confluent
14 hodinyTato instruktorem vedená živá školení (online nebo na místě) je určena inženýrům, kteří chtějí použít Confluent (distribuci Kafka) ke vytvoření a správě platformy pro zpracování dat v reálném čase pro své aplikace.
Do konce tohoto školení budou účastníci schopni:
- Nainstalovat a nakonfigurovat Confluent Platform.
- Používat správcovské nástroje a služby Confluent k snadnějšímu běhu Kafka.
- Uchovávat a zpracovávat přicházející datové proudy.
- Optimalizovat a spravovat cluster Kafka.
- Zabezpečit datové proudy.
Formát kurzu
- Interaktivní přednáška a diskuse.
- Mnoho cvičení a praktické praxe.
- V rámci živé laboratoře se provádí praktická implementace.
Možnosti přizpůsobení kurzu
- Toto školení je založeno na open-source verzi Confluentu: Confluent Open Source.
- Pro požadavek na přizpůsobené školení kontaktujte, prosím, nás pro uspořádání.
Building Data Pipelines with Apache Kafka
7 hodinyApache Kafka je distribuovaná streamovací platforma. Je de facto standardem pro vytváření datových potoků a řeší mnoho různých případů použití souvisejících s zpracováním dat: lze ji použít jako zprávní frontu, distribuovaný log, streamovací procesor atd.
Nejdřív se podíváme na teorii za datovými potoky obecně, pak pokračujeme fundamentálními koncepty Kafka. Také poznáte důležité komponenty jako Kafka Streams a Kafka Connect.
Praktický úvod do streamového zpracování dat
21 hodinyV tomto školení vedeném instruktorem, které se koná na místě nebo vzdáleně, zúčastníci naučí nastavovat a integrovat různé streamovací frameworky s existujícími systémy pro úložiště velkých dat a souvisejícími software a mikroslužbami.
Koncem tohoto školení budou zúčastníci schopni:
- Nainstalovat a nakonfigurovat různé streamovací frameworky, jako je Spark Streaming a Kafka Streaming.
- Porozumět a vybrat nejvhodnější framework pro daný úkol.
- Zpracovávat data v reálném čase, současně a řádek po řádku.
- Integrovat streamovací řešení s existujícími databázemi, datovými skladovami, datovými jezery atd.
- Integrovat nejvhodnější streamovací knihovnu s podnikovými aplikacemi a mikroslužbami.
Distribuované zprávování s Apache Kafka
14 hodinyTento kurz je určený pro podnikové architekty, vývojáře, systémové administrátory a každého, kdo chce pochopit a používat systém pro vysokoprůchodnou distribuovanou komunikaci. Pokud máte specifičtější požadavky (například pouze stránku systémové administrace), tento kurz lze přizpůsobit tak, aby lépe vyhovoval vašim potřebám.
Kafka pro správce
21 hodinyToto školení pod vedením instruktora (online nebo na místě) je určeno správcům systémů, kteří se chtějí naučit nastavovat, nasazovat, spravovat a optimalizovat enterprise-grade Kafka cluster.
Konec tohoto školení bude účastníci schopni:
- Nastavit a spravovat Kafka Cluster.
- Oceňovat výhody a nevýhody nasazení Kafka on-premise vs. v cloudu.
- Nasazovat a monitorovat Kafka pomocí různých nástrojů pro on-premise a cloudové prostředí.
Apache Kafka pro Vývojáře
21 hodinyTato vedená školení, které se koná v České republice (online nebo na místě), je určena pro středně pokročilé vývojáře, kteří chtějí vyvíjet aplikace velkých dat s Apache Kafka.
Na konci tohoto školení budou účastníci schopni:
- Vyvíjet produkery a konzuméry Kafka k odesílání a čtení dat z Kafka.
- Integrovat Kafka s externími systémy pomocí Kafka Connect.
- Pisat streamovací aplikace s Kafka Streams & ksqlDB.
- Integrovat klienta Kafka s Confluent Cloud pro cloudová nasazení Kafka.
- Získat praktické zkušenosti prostřednictvím cvičení a reálných případů použití.
Apache Kafka pro programátory v jazyce Python
7 hodinyToto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové inženýry, datové vědce a programátory, kteří chtějí používat funkce Apache Kafka při streamování dat s Python.
Na konci tohoto školení budou účastníci schopni používat Apache Kafka k monitorování a řízení podmínek v nepřetržitých datových tocích pomocí programování Python.
Základy Kafky pro vývojáře Java
14 hodinyTento instruktorem vedený živý kurz v České republice (online nebo na místě) je určený pro pokročilejší Java programátory, kteří chtějí integrovat Apache Kafka do svých aplikací pro spolehlivé, škálovatelné a vysokoprůchodné zasílání zpráv.
Na konci tohoto kurzu budou účastníci schopni:
- Pochopit architekturu a jádro komponent Kafka.
- Nastavit a nakonfigurovat Kafka cluster.
- Zasílat a přijímat zprávy pomocí Java.
- Implementovat Kafka Streams pro zpracování dat v reálném čase.
- Zajistit odolnost a škálovatelnost v aplikacích Kafka.
Administration of Kafka Message Queue
14 hodinyToto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na středně pokročilé systémové administrátory, kteří chtějí efektivně využít funkce Kafkova řazení zpráv do fronty.
Na konci tohoto školení budou účastníci schopni:
- Pochopte možnosti a architekturu řazení zpráv Kafka.
- Nakonfigurujte témata Kafka pro scénáře řazení zpráv.
- Vytvářejte a konzumujte zprávy pomocí Kafky.
- Monitorujte a spravujte Kafku jako frontu zpráv.
Zabezpečení Apache Kafka
7 hodinyTato instruktorem vedená živá školení v České republice (online nebo na místě) je určena softwarovým testerům, kteří chtějí implementovat bezpečnostní opatření pro síť do aplikace Apache Kafka.
Na konci tohoto školení budou účastníci schopni:
- Nasadit Apache Kafka na cloudový server.
- Implementovat SSL šifrování pro prevenci útoků.
- Přidat ACL autentizaci pro sledování a řízení přístupu uživatelů.
- Zajistit, aby důvěryhodní klienti měli přístup k clusterům Kafka pomocí SSL a SASL autentizace.
Apache Kafka a Spring Boot
7 hodinyTato instruktorem vedená živá školení v České republice (online nebo na místě) je určena vyšší úrovni programátorů, kteří chtějí naučit se základy Kafka a integraci s Spring Boot.
Na konci tohoto školení budou účastníci schopni:
- Pochopit Kafka a jeho architekturu.
- Naučit se, jak nainstalovat, nakonfigurovat a nastavit základné prostředí Kafka.
- Integrovat Kafka s Spring Boot.
Administration of Kafka Topic
14 hodinyToto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na začátečníky až středně pokročilé systémové administrátory, kteří se chtějí naučit, jak efektivně řídit témata Kafka pro efektivní streamování a zpracování dat.
Na konci tohoto školení budou účastníci schopni:
- Pochopit základy Kafkova tématu a architekturu.
- Vytvářejte, konfigurujte a spravujte témata Kafka.
- Sledujte témata Kafka z hlediska zdraví, výkonu a dostupnosti.
- Zavést bezpečnostní opatření pro Kafkova témata.
SMACK Stack pro Datovou Vědu
14 hodinyTato vedená školení, provedené živě v České republice (online nebo na místě), je zaměřena na datové analytiky, kteří chtějí použít SMACK stack pro budování platform zpracování dat pro řešení s velkými daty.
Na konci tohoto školení budou účastníci schopni:
- Implementovat architekturu data pipeline pro zpracování velkých dat.
- Vytvořit clusterovou infrastrukturu pomocí Apache Mesos a Dockeru.
- Analyzovat data s Sparkem a Scalou.
- Spravovat nestrukturovaná data pomocí Apache Cassandra.
Microservices s Spring Cloud a Kafka
21 hodinyToto instruktorem vedené živé školení v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří se chtějí tradicionální architekturu transformovat do mikroslužebné architektury s vysokou paralelností pomocí Spring Cloud, Kafka, Docker, Kubernetes a Redis.
Na konci tohoto školení budou účastníci schopni:
- Nastavit nezbytné vývojové prostředí pro sestavování mikroslužeb.
- Návrh a implementace vysoce paralelného mikroslužebného ekosystému pomocí Spring Cloud, Kafka, Redis, Docker a Kubernetes.
- Transformovat monolitické a SOA služby na architekturu založenou na mikroslužbách.
- Přijmout DevOps přístup k vývoji, testování a uvolňování softwaru.
- Zajištění vysoké paralelnosti mezi mikroslužbami ve výrobě.
- Monitorovat mikroslužby a implementovat obnovovací strategie.
- Provádět optimalizaci výkonu.
- Zjistit budoucí trendy ve vývoji architektury mikroslužeb.