Praktický úvod do streamového zpracování dat Počítačový Kurz
Potokové zpracování se týká reálného času zpracování "dat v pohybu", to jest provedení početních operací na datech při jejich přijímání. Tato data jsou čtena jako spojité proudy ze zdrojů dat, jako jsou senzorové události, aktivita uživatelů webových stránek, finanční obchody, platby kreditními kartami, datové průtoky atd. Potokové zpracovatelné rámce jsou schopny číst velké objemy příchozích dat a poskytovat cenné informace téměř okamžitě.
V tomto vedení instruktorem živé školení (na místě nebo na dálku) se účastníci naučí nastavovat a integrovat různá potoková zpracovatelná rámcová řešení s existujícími systémy uchování velkých dat a souvisejícími softwarovými aplikacemi a mikroslužbami.
Na konci tohoto školení budou účastníci schopni:
- Nainstalovat a nakonfigurovat různá potoková zpracovatelná rámcová řešení, jako jsou Spark Streaming a Kafka Streaming.
- Pochopit a vybrat nejvhodnější rámcové řešení pro konkrétní úlohu.
- Provádět zpracování dat spojitě, souběžně a v jednotlivých záznamech.
- Integrovat potoková zpracovatelná řešení s existujícími databázemi, data warehousey, data lakey atd.
- Integrovat nejvhodnější knihovnu pro potokové zpracování s podnikovými aplikacemi a mikroslužbami.
Cílová skupina
- Vývojáři
- Softwaroví architekti
Formát kurzu
- Část přednášky, část diskuse, cvičení a intenzivní praktické výcviky.
Poznámky
- Pro požadavek na přizpůsobené školení pro tento kurz nás prosím kontaktujte, abychom se domluvili.
Návrh Školení
Úvod
- Streamové zpracování vs dávkové zpracování
- Součásti analytického streamového zpracování
Přehled rámceství a programovacích jazyků
- Spark Streaming (Scala)
- Kafka Streaming (Java)
- Flink
- Storm
- Srovnání funkcí a sil jednotlivých rámceství
Přehled zdrojů dat
- Živá data jako série událostí v průběhu času
- Historické zdroje dat
Možnosti nasazení
- V cloudu (AWS, atd.)
- Místně (soukromý cloud, atd.)
Začínáme
- Nastavení vývojového prostředí
- Instalace a konfigurace
- Hodnocení potřeb datové analýzy
Ovládání streamovacího rámce
- Integrace streamovacího rámce s nástroji pro zpracování velkých dat
- Zpracování toku událostí (ESP) vs komplexní zpracování událostí (CEP)
- Převod vstupních dat
- Kontrola výstupních dat
- Integrace streamovacího rámce s existujícími aplikacemi a mikroslužbami
Řešení potíží
Závěr a závěrečná přednáška
Požadavky
- Zkušenosti s programováním v jakémkoli jazyce
- Pochopení konceptů Big Data (Hadoop atd.)
Veřejné školení vyžaduje minimálně 5 účastníků.
Praktický úvod do streamového zpracování dat Počítačový Kurz - Rezervace
Praktický úvod do streamového zpracování dat Počítačový Kurz - Dotaz
Praktický úvod do streamového zpracování dat - Dotaz ohledně konzultace
Dotaz ohledně konzultace
Reference (1)
Sufficient hands on, trainer is knowledgable
Chris Tan
Kurz - A Practical Introduction to Stream Processing
Nadcházející kurzy
Související kurzy
Apache Kafka Connect
7 hodinyTato školení vedená instruktorem se koná v České republice (online nebo na místě) a je určená pro vývojáře, kteří chtějí integrovat Apache Kafka s existujícími databázemi a aplikacemi pro zpracování, analýzu atd.
Konec tohoto školení se účastníci budou schopni:
- Použít Kafka Connect ke čtení velkého množství dat z databáze do témat Kafka.
- Číst protokolovací data generovaná aplikačními servery do témat Kafka.
- Zpřístupnit jakákoli shromážděná data pro streamování a zpracování dat.
- Exportovat data z témat Kafka do vedlejších systémů pro ukládání a analýzu.
Building Kafka Solutions with Confluent
14 hodinyTato instruktorem vedená živá školení (online nebo na místě) je určena inženýrům, kteří chtějí použít Confluent (distribuci Kafka) ke vytvoření a správě platformy pro zpracování dat v reálném čase pro své aplikace.
Do konce tohoto školení budou účastníci schopni:
- Nainstalovat a nakonfigurovat Confluent Platform.
- Používat správcovské nástroje a služby Confluent k snadnějšímu běhu Kafka.
- Uchovávat a zpracovávat přicházející datové proudy.
- Optimalizovat a spravovat cluster Kafka.
- Zabezpečit datové proudy.
Formát kurzu
- Interaktivní přednáška a diskuse.
- Mnoho cvičení a praktické praxe.
- V rámci živé laboratoře se provádí praktická implementace.
Možnosti přizpůsobení kurzu
- Toto školení je založeno na open-source verzi Confluentu: Confluent Open Source.
- Pro požadavek na přizpůsobené školení kontaktujte, prosím, nás pro uspořádání.
Building Data Pipelines with Apache Kafka
7 hodinyApache Kafka je distribuovaná streamovací platforma. Je de facto standardem pro vytváření datových potoků a řeší mnoho různých případů použití souvisejících s zpracováním dat: lze ji použít jako zprávní frontu, distribuovaný log, streamovací procesor atd.
Nejdřív se podíváme na teorii za datovými potoky obecně, pak pokračujeme fundamentálními koncepty Kafka. Také poznáte důležité komponenty jako Kafka Streams a Kafka Connect.
Distribuované zprávování s Apache Kafka
14 hodinyTento kurz je určený pro podnikové architekty, vývojáře, systémové administrátory a každého, kdo chce pochopit a používat systém pro vysokoprůchodnou distribuovanou komunikaci. Pokud máte specifičtější požadavky (například pouze stránku systémové administrace), tento kurz lze přizpůsobit tak, aby lépe vyhovoval vašim potřebám.
Kafka pro správce
21 hodinyToto školení pod vedením instruktora (online nebo na místě) je určeno správcům systémů, kteří se chtějí naučit nastavovat, nasazovat, spravovat a optimalizovat enterprise-grade Kafka cluster.
Konec tohoto školení bude účastníci schopni:
- Nastavit a spravovat Kafka Cluster.
- Oceňovat výhody a nevýhody nasazení Kafka on-premise vs. v cloudu.
- Nasazovat a monitorovat Kafka pomocí různých nástrojů pro on-premise a cloudové prostředí.
Apache Kafka pro Vývojáře
21 hodinyTato vedená školení, které se koná v České republice (online nebo na místě), je určena pro středně pokročilé vývojáře, kteří chtějí vyvíjet aplikace velkých dat s Apache Kafka.
Na konci tohoto školení budou účastníci schopni:
- Vyvíjet produkery a konzuméry Kafka k odesílání a čtení dat z Kafka.
- Integrovat Kafka s externími systémy pomocí Kafka Connect.
- Pisat streamovací aplikace s Kafka Streams & ksqlDB.
- Integrovat klienta Kafka s Confluent Cloud pro cloudová nasazení Kafka.
- Získat praktické zkušenosti prostřednictvím cvičení a reálných případů použití.
Apache Kafka pro programátory v jazyce Python
7 hodinyToto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové inženýry, datové vědce a programátory, kteří chtějí používat funkce Apache Kafka při streamování dat s Python.
Na konci tohoto školení budou účastníci schopni používat Apache Kafka k monitorování a řízení podmínek v nepřetržitých datových tocích pomocí programování Python.
Zabezpečení Apache Kafka
7 hodinyTato instruktorem vedená živá školení v České republice (online nebo na místě) je určena softwarovým testerům, kteří chtějí implementovat bezpečnostní opatření pro síť do aplikace Apache Kafka.
Na konci tohoto školení budou účastníci schopni:
- Nasadit Apache Kafka na cloudový server.
- Implementovat SSL šifrování pro prevenci útoků.
- Přidat ACL autentizaci pro sledování a řízení přístupu uživatelů.
- Zajistit, aby důvěryhodní klienti měli přístup k clusterům Kafka pomocí SSL a SASL autentizace.
Apache Kafka a Spring Boot
7 hodinyTato instruktorem vedená živá školení v České republice (online nebo na místě) je určena vyšší úrovni programátorů, kteří chtějí naučit se základy Kafka a integraci s Spring Boot.
Na konci tohoto školení budou účastníci schopni:
- Pochopit Kafka a jeho architekturu.
- Naučit se, jak nainstalovat, nakonfigurovat a nastavit základné prostředí Kafka.
- Integrovat Kafka s Spring Boot.
Stream Processing with Kafka Streams
7 hodinyKafka Streams je clientská knihovna pro vytváření aplikací a mikroslužeb, jejichž data jsou předávána do a z systému zpráv Kafka. Tradičně Apache Kafka spoléhal na Apache Spark nebo Apache Storm k zpracování dat mezi producenty a konzumenty zpráv. Voláním API Kafka Streams zevnitř aplikace lze data zpracovat přímo v rámci systému Kafka, čímž se eliminuje potřeba odesílání dat do odděleného clusteru pro zpracování.
V tomto instruktorem vedeném, živém školení se účastníci naučí integrovat Kafka Streams do sady ukázkových Java aplikací, které předávají data do a z Apache Kafka pro streamovací zpracování.
Na konci tohoto školení budou účastníci schopni:
- Pochopit vlastnosti a přednosti Kafka Streams oproti jiným streamovacím frameworkům
- Zpracovávat streamovací data přímo uvnitř clusteru Kafka
- Napsat Java nebo Scala aplikaci nebo mikroslužbu, která se integruje s Kafka a Kafka Streams
- Napsat stručný kód, který transformuje vstupní témata Kafka na výstupní témata Kafka
- Vybudovat, zabalit a nasadit aplikaci
Účastníci
- Vývojáři
Formát kurzu
- Půl přednášky, půl diskuse, cvičení a značné praktické procvičování
Poznámky
- Pro požadavek na přizpůsobené školení pro tento kurz, prosím kontaktujte nás k uspořádání
Administration of Kafka Topic
14 hodinyToto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na začátečníky až středně pokročilé systémové administrátory, kteří se chtějí naučit, jak efektivně řídit témata Kafka pro efektivní streamování a zpracování dat.
Na konci tohoto školení budou účastníci schopni:
- Pochopit základy Kafkova tématu a architekturu.
- Vytvářejte, konfigurujte a spravujte témata Kafka.
- Sledujte témata Kafka z hlediska zdraví, výkonu a dostupnosti.
- Zavést bezpečnostní opatření pro Kafkova témata.
SMACK Stack pro Datovou Vědu
14 hodinyTato vedená školení, provedené živě v České republice (online nebo na místě), je zaměřena na datové analytiky, kteří chtějí použít SMACK stack pro budování platform zpracování dat pro řešení s velkými daty.
Na konci tohoto školení budou účastníci schopni:
- Implementovat architekturu data pipeline pro zpracování velkých dat.
- Vytvořit clusterovou infrastrukturu pomocí Apache Mesos a Dockeru.
- Analyzovat data s Sparkem a Scalou.
- Spravovat nestrukturovaná data pomocí Apache Cassandra.
Python a Spark pro Velká Data (PySpark)
21 hodinyV tomto živém školení pod vedením instruktora v České republice se účastníci naučí, jak používat Python a Spark společně k analýze velkých dat při práci na praktických cvičeních.
Na konci tohoto školení budou účastníci schopni:
- Naučte se používat Spark s Python k analýze Big Data.
- Pracujte na cvičeních, která napodobují případy ze skutečného světa.
- Použijte různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.
Microservices s Spring Cloud a Kafka
21 hodinyToto instruktorem vedené živé školení v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří se chtějí tradicionální architekturu transformovat do mikroslužebné architektury s vysokou paralelností pomocí Spring Cloud, Kafka, Docker, Kubernetes a Redis.
Na konci tohoto školení budou účastníci schopni:
- Nastavit nezbytné vývojové prostředí pro sestavování mikroslužeb.
- Návrh a implementace vysoce paralelného mikroslužebného ekosystému pomocí Spring Cloud, Kafka, Redis, Docker a Kubernetes.
- Transformovat monolitické a SOA služby na architekturu založenou na mikroslužbách.
- Přijmout DevOps přístup k vývoji, testování a uvolňování softwaru.
- Zajištění vysoké paralelnosti mezi mikroslužbami ve výrobě.
- Monitorovat mikroslužby a implementovat obnovovací strategie.
- Provádět optimalizaci výkonu.
- Zjistit budoucí trendy ve vývoji architektury mikroslužeb.
Stratio: Moduly Rocket a Intelligence s PySpark
14 hodinyStratio je datová platforma, která integruje big data, AI a správu do jediného řešení. Moduly Rocket a Intelligence umožňují rychlou datovou procházkou, transformaci a pokročilý analytický výkon ve firemních prostředích.
Tato instruktor-provedená živá školení (online nebo na místě) je určeno středně pokročilým datovým profesionálům, kteří chtějí efektivně používat moduly Rocket a Intelligence v Stratio s PySpark, zaměřením na smyčkové struktury, uživatelsky definované funkce a pokročilou datovou logiku.
Po ukončení tohoto školení budou účastníci schopni:
- Navigovat a pracovat ve Stratio platformě s využitím modulů Rocket a Intelligence.
- Používat PySpark ve kontextu nahrávání dat, transformace a analýzy.
- Používat smyčky a podmíněnou logiku pro ovládání datových pracovních toků a úkolů inženýrství funkcí.
- Vytvářet a spravovat uživatelsky definované funkce (UDF) pro opakovatelné datové operace v PySpark.
Formát kurzu
- Interaktivní přednáška a diskuse.
- Mnoho cvičení a praxe.
- Praktické realizace v živém laboratorním prostředí.
Možnosti personalizace kurzu
- Pro požadavek na personalizované školení tohoto kurzu, kontaktujte nás pro uspořádání.