Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Návrh Školení
- Scala primer Rychlý úvod do Scala Labs: Seznámení se Scala Spark Základy Pozadí a historie Spark a Hadoop Spark koncepty a architektura Eko systém Spark (core, spark sql, mlib, streaming) Labs: Instalace a spuštění Spark První pohled na Spark Running Spark v místní režim Spark webové uživatelské rozhraní Spark shell Analýza datové sady – část 1 Laboratoře inspekce RDD: Průzkum RDD Koncepty RDD Oddíly Operace/transformace RDD Typy RDD Pár klíč-hodnota RDD MapReduce na RDD Ukládání a perzistence RDD Laboratoře: vytváření a kontrola RDD; Ukládání RDD Programování Spark API Úvod do Spark API / RDD API Odeslání prvního programu do Spark Ladění / protokolování Vlastnosti konfigurace Laboratoře : Programování ve Spark API, Odesílání úloh Podpora Spark SQL SQL v Spark Dataframes Definování tabulek a import datových sad Dotazování dat rámce pomocí SQL Formáty úložiště : JSON / Parquet Labs : Vytváření a dotazování datových rámců; vyhodnocování datových formátů MLlib Úvod MLlib Algoritmy MLlib Laboratoře : Psaní aplikací MLib Přehled knihovny GraphX GraphX Laboratoře rozhraní API GraphX : Zpracování dat grafů pomocí Spark Spark Streaming Přehled streamování Vyhodnocení Streamovacích platforem Operace streamování Operace posuvných oken Laboratoře Hadice ( Spark a Introop streamovací aplikace Sparkoop HDFS / YARN) Architektura Hadoop + Spark Spuštění Spark na Hadoop YARN Zpracování souborů HDFS pomocí Spark Spark Výkon a ladění proměnných vysílání Akumulátory Správa paměti a ukládání do mezipaměti Operace Spark Nasazení Sparku v produkci Ukázkové šablony nasazení Konfigurace Monitorování Odstraňování problémů
Požadavky
PŘEDPOŽADAVKY
znalost jazyka Java / Scala / Python (naše laboratoře v Scala a Pythonu) základní znalost vývojového prostředí Linux (navigace v příkazovém řádku / úprava souborů pomocí VI nebo nano)
21 hodiny