Návrh Školení

    Scala primer Rychlý úvod do Scala Labs: Seznámení se Scala Spark Základy Pozadí a historie Spark a Hadoop Spark koncepty a architektura Eko systém Spark (core, spark sql, mlib, streaming) Labs: Instalace a spuštění Spark První pohled na Spark Running Spark v místní režim Spark webové uživatelské rozhraní Spark shell Analýza datové sady – část 1 Laboratoře inspekce RDD: Průzkum RDD Koncepty RDD Oddíly Operace/transformace RDD Typy RDD Pár klíč-hodnota RDD MapReduce na RDD Ukládání a perzistence RDD Laboratoře: vytváření a kontrola RDD; Ukládání RDD Programování Spark API Úvod do Spark API / RDD API Odeslání prvního programu do Spark Ladění / protokolování Vlastnosti konfigurace Laboratoře : Programování ve Spark API, Odesílání úloh Podpora Spark SQL SQL v Spark Dataframes Definování tabulek a import datových sad Dotazování dat rámce pomocí SQL Formáty úložiště : JSON / Parquet Labs : Vytváření a dotazování datových rámců; vyhodnocování datových formátů MLlib Úvod MLlib Algoritmy MLlib Laboratoře : Psaní aplikací MLib Přehled knihovny GraphX GraphX Laboratoře rozhraní API GraphX : Zpracování dat grafů pomocí Spark Spark Streaming Přehled streamování Vyhodnocení Streamovacích platforem Operace streamování Operace posuvných oken Laboratoře Hadice ( Spark a Introop streamovací aplikace Sparkoop HDFS / YARN) Architektura Hadoop + Spark Spuštění Spark na Hadoop YARN Zpracování souborů HDFS pomocí Spark Spark Výkon a ladění proměnných vysílání Akumulátory Správa paměti a ukládání do mezipaměti Operace Spark Nasazení Sparku v produkci Ukázkové šablony nasazení Konfigurace Monitorování Odstraňování problémů

Požadavky

PŘEDPOŽADAVKY

znalost jazyka Java / Scala / Python (naše laboratoře v Scala a Pythonu) základní znalost vývojového prostředí Linux (navigace v příkazovém řádku / úprava souborů pomocí VI nebo nano)

  21 hodiny
 

Počet účastníků


Začátek

Konec


Dates are subject to availability and take place between 09:30 and 16:30.
Open Training Courses require 5+ participants.

Související kurzy

Související kategorie