Návrh Školení

Úvod

Scala Programování v hloubkovém přehledu

    Syntaxe a struktura Řízení toku a funkce

Spark Internals

    Odolné distribuované datové sady (RDD) Spark pro vytvoření grafu a clusteru

Přehled Spark Streaming

    Architektura streamování Intervaly ve streamování Odolnost proti chybám

Příprava vývojového prostředí

    Instalace a konfigurace Apache Spark Instalace a konfigurace Scala IDE Instalace a konfigurace JDK

Spark Streaming Začátečník až pokročilý

    Práce s klíčem/hodnotou RDD Filtrování RDD Vylepšování skriptů Spark pomocí regulárních výrazů Sdílení dat v clusteru Práce se síťovými datovými sadami Implementace algoritmů BFS Vytváření skriptů ovladače Spark Sledování v reálném čase pomocí skriptů Psaní spojitých aplikací Streamování lineární regrese Pomocí knihovny Spark Machine Learning

Jiskra a shluky

    Sdružování závislostí a skriptů Spark pomocí nástroje SBT Použití EMR pro ilustraci clusterů Optimalizace rozdělením RDD pomocí protokolů Spark

Integrace v Spark Streaming

    Integrace Apache Kafka a práce s tématy Kafka Integrace Apache Fume a práce s konfiguracemi Flume založenými na pull/push Vytvoření vlastní třídy přijímače Integrace Cassandra a vystavení dat jako služby v reálném čase

Ve výrobě

    Zabalení aplikace a její spuštění pomocí Spark-Submit Troubleshooting, ladění a ladění Spark Jobs a clusterů

Shrnutí a závěr

Požadavky

  • Programming a zkušenosti se skriptováním

Publikum

  • Softwaroví inženýři
  21 hodiny
 

Počet účastníků


Začátek

Konec


Dates are subject to availability and take place between 09:30 and 16:30.
Open Training Courses require 5+ participants.

Reference (4)

Související kurzy

Související kategorie