Návrh Školení
Úvod
Přehled Spark Streaming Funkce a architektura
- Podporované zdroje dat Core API
Příprava prostředí
- Závislosti Spark a kontext streamování Připojení ke Kafkovi
Zpracování zpráv
- Analýza příchozích zpráv jako procesů JSON ETL Spuštění kontextu streamování
Provádění okna Stream Processing
- Interval snímku Konfigurace doručení kontrolního bodu Spuštění prostředí
Prototypování kódu zpracování
- Připojení k tématu Kafka Načítání JSON ze zdroje dat pomocí variací Paw a dalšího zpracování
Streamování kódu
- Proměnné řízení úlohy Definování hodnot, které odpovídají funkcím a podmínkám
Získávání datového toku
- Počítadla Kafkova výstupu (shodná a neshodná)
Odstraňování problémů
Shrnutí a závěr
Požadavky
- Zkušenosti s Python a Apache Kafka
- Znalost platforem stream-processingu
Publikum
- datoví inženýři
- Datoví vědci
- Programátoři
Reference (5)
Příklady/cvičení dokonale přizpůsobené naší doméně
Luc - CS Group
Kurz - Scaling Data Analysis with Python and Dask
Machine Translated
Trenér byl velmi ochotný odpovědět na všechny otázky, které jsem položil
Caterina - Stamtech
Kurz - Developing APIs with Python and FastAPI
Machine Translated
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Kurz - Build REST APIs with Python and Flask
Předávání praktických znalostí a zkušeností školitele.
Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA
Kurz - GUI Programming with Python and PyQt
Machine Translated
As I was the only participant the training could be adapted to my needs.