Návrh Školení
Úvod
Scala Programování v hloubkovém přehledu
- Syntaxe a struktura Řízení toku a funkce
Spark Internals
- Odolné distribuované datové sady (RDD) Spark pro vytvoření grafu a clusteru
Přehled Spark Streaming
- Architektura streamování Intervaly ve streamování Odolnost proti chybám
Příprava vývojového prostředí
- Instalace a konfigurace Apache Spark Instalace a konfigurace Scala IDE Instalace a konfigurace JDK
Spark Streaming Začátečník až pokročilý
- Práce s klíčem/hodnotou RDD Filtrování RDD Vylepšování skriptů Spark pomocí regulárních výrazů Sdílení dat v clusteru Práce se síťovými datovými sadami Implementace algoritmů BFS Vytváření skriptů ovladače Spark Sledování v reálném čase pomocí skriptů Psaní spojitých aplikací Streamování lineární regrese Pomocí knihovny Spark Machine Learning
Jiskra a shluky
- Sdružování závislostí a skriptů Spark pomocí nástroje SBT Použití EMR pro ilustraci clusterů Optimalizace rozdělením RDD pomocí protokolů Spark
Integrace v Spark Streaming
- Integrace Apache Kafka a práce s tématy Kafka Integrace Apache Fume a práce s konfiguracemi Flume založenými na pull/push Vytvoření vlastní třídy přijímače Integrace Cassandra a vystavení dat jako služby v reálném čase
Ve výrobě
- Zabalení aplikace a její spuštění pomocí Spark-Submit Troubleshooting, ladění a ladění Spark Jobs a clusterů
Shrnutí a závěr
Požadavky
- Programming a zkušenosti se skriptováním
Publikum
- Softwaroví inženýři
Reference (4)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Kurz - Python and Spark for Big Data (PySpark)
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Kurz - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Sufficient hands on, trainer is knowledgable
Chris Tan
Kurz - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.