Apache Spark Fundamentals Počítačový Kurz

V tomto živém školení vedeném instruktorem v České republice se účastníci naučí, jak používat Python a Spark společně k analýze velkých dat při práci na praktických cvičeních.

Na konci tohoto školení budou účastníci schopni:

• Naučte se používat Spark s Python k analýze velkých dat.
• Pracujte na cvičeních, která napodobují případy ze skutečného světa.
• Použijte různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

V tomto živém školení pod vedením instruktora v České republice se účastníci seznámí s nabídkou technologií a implementačními přístupy pro zpracování grafových dat. Cílem je identifikovat objekty reálného světa, jejich charakteristiky a vztahy, poté tyto vztahy modelovat a zpracovat je jako data pomocí přístupu Graph Computing (také známého jako Graph Analytics). Začínáme širokým přehledem a zužujeme se na konkrétní nástroje, když procházíme řadou případových studií, praktických cvičení a živých nasazení.

Na konci tohoto školení budou účastníci schopni:

• Pochopte, jak jsou grafová data uchovávána a procházena.
• Vyberte nejlepší rámec pro daný úkol (od databází grafů po rámce pro dávkové zpracování.)
• Implementujte Hadoop, Spark, GraphX a Pregel k provádění grafových výpočtů na mnoha strojích paralelně.
• Podívejte se na problémy s velkými daty v reálném světě z hlediska grafů, procesů a průchodů.

MLlib je knihovna Spark pro strojové učení (ML). Jeho cílem je učinit praktické strojové učení škálovatelné a snadné. Skládá se z běžných výukových algoritmů a utilit, včetně klasifikace, regrese, shlukování, kolaborativního filtrování, redukce rozměrů, stejně jako optimalizačních primitiv nižší úrovně a rozhraní API na vyšší úrovni.

Dělí se na dva balíčky:

spark.mllib obsahuje původní API postavené na RDD. spark.ml poskytuje API vyšší úrovně postavené na DataFrames pro vytváření kanálů ML.

Publikum

Tento kurz je zaměřen na inženýry a vývojáře, kteří chtějí využít vestavěnou knihovnu strojů pro Apache Spark

Formát kurzu

• Interaktivní přednáška a diskuze.
• Spousta cvičení a cvičení.
• Praktická implementace v prostředí živé laboratoře.

Možnosti přizpůsobení kurzu

• Chcete-li požádat o školení na míru pro tento kurz, kontaktujte nás a domluvíme se.

OBJEKTIVNÍ:

Tento kurz představí Apache Spark. Studenti se naučí, jak Spark zapadá do ekosystému velkých dat a jak Spark používat pro analýzu dat. Kurz pokrývá Spark Shell pro interaktivní analýzu dat, Spark internals, Spark API, Spark SQL, Spark streaming a strojové učení a graphX.

DIVÁCI:

Vývojáři / datoví analytici

Toto živé školení vedené instruktorem v České republice (online nebo na místě) představuje Hortonworks Data Platform (HDP) a provede účastníky nasazením řešení Spark + Hadoop.

Na konci tohoto školení budou účastníci schopni:

Použijte Hortonworks ke spolehlivému provozu Hadoop ve velkém měřítku. Sjednoťte možnosti zabezpečení, správy a provozu Hadoop s agilními analytickými pracovními postupy Spark. Použijte Hortonworks k prozkoumání, ověření, certifikaci a podpoře každé z komponent v projektu Spark. Zpracovávejte různé typy dat, včetně strukturovaných, nestrukturovaných, v pohybu a v klidu.

Magellan je open-source distribuovaný výkonový motor pro geospatiální analýzu velkých dat. Implementován na vrcholu Apache Spark, rozšiřuje Spark SQL a poskytuje relativní abstrakci pro geospatiální analýzu.

Tento instruktor-ledovaný, živý trénink představuje koncepty a přístupy k implementaci geospatiální analýzy a chodí účastníky prostřednictvím vytváření prediktivní analytické aplikace pomocí Magellan na Spark.

Po ukončení tohoto tréninku budou účastníci schopni:

• Efektivní vyhledávání, sdílení a připojení geospatiálních datových sítí na stupnici
• Implementace geospatiálních údajů v obchodní inteligenci a prediktivních analytických aplikacích
• Použijte prostorový kontext k rozšíření kapacity mobilních zařízení, senzorů, záznamů a nosičů

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praxe.
• Hands-on implementace v živém laboratoři prostředí.

Možnosti personalizace kurzu

• Chcete-li požádat o přizpůsobené školení pro tento kurz, kontaktujte nás, abyste uspořádali.

Spark SQL je modul Apache Spark pro práci se strukturovanými a nestrukturovanými daty. Spark SQL poskytuje informace o struktuře dat a také o prováděném výpočtu. Tyto informace lze použít k provádění optimalizací. Dvě běžné použití pro Spark SQL jsou: - k provádění SQL dotazů. - ke čtení dat z existující instalace Hive.

V tomto živém školení vedeném instruktorem (na místě nebo na dálku) se účastníci naučí, jak analyzovat různé typy souborů dat pomocí Spark SQL.

Na konci tohoto školení budou účastníci schopni:

Nainstalujte a nakonfigurujte Spark SQL. Proveďte analýzu dat pomocí Spark SQL. Dotaz na datové sady v různých formátech. Vizualizujte data a výsledky dotazů.

Formát kurzu

Interaktivní přednáška a diskuze. Spousta cvičení a praxe. Praktická implementace v prostředí živé laboratoře.

Možnosti přizpůsobení kurzu

Chcete-li požádat o školení na míru pro tento kurz, kontaktujte nás a domluvíme se.

V tomto živém školení pod vedením instruktora v České republice (na místě nebo na dálku) se účastníci naučí, jak nastavit a integrovat různé Stream Processing rámce se stávajícími systémy ukládání velkých dat a souvisejícími softwarovými aplikacemi a mikroslužbami.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte různé Stream Processing frameworky, jako je Spark Streaming a Kafka Streaming.
• Pochopte a vyberte nejvhodnější rámec pro danou práci.
• Zpracování dat nepřetržitě, souběžně a záznam po záznamu.
• Integrujte Stream Processing řešení se stávajícími databázemi, datovými sklady, datovými jezery atd.
• Integrujte nejvhodnější knihovnu pro zpracování datových proudů s podnikovými aplikacemi a mikroslužbami.

Analýza velkých dat zahrnuje proces zkoumání velkého množství různých datových sad s cílem odhalit korelace, skryté vzorce a další užitečné poznatky.

Zdravotnický průmysl má obrovské množství komplexních heterogenních lékařských a klinických dat. Použití analýzy velkých dat na zdravotní data představuje obrovský potenciál při získávání poznatků pro zlepšení poskytování zdravotní péče. Obrovské množství těchto datových souborů však představuje velké výzvy v analýzách a praktických aplikacích v klinickém prostředí.

V tomto živém školení (na dálku) vedeném instruktorem se účastníci naučí, jak provádět analýzu velkých dat ve zdraví, když projdou řadou praktických cvičení v laboratoři.

Na konci tohoto školení budou účastníci schopni:

Nainstalujte a nakonfigurujte nástroje pro analýzu velkých objemů dat, jako je Hadoop MapReduce a Spark Pochopte vlastnosti lékařských dat Použití technik velkých dat pro práci s lékařskými daty Studujte systémy a algoritmy velkých dat v kontextu zdravotnických aplikací

Publikum

Vývojáři Data Scientists

Formát kurzu

Část přednáška, část diskuse, cvičení a těžké praktické cvičení.

Poznámka

Chcete-li požádat o školení na míru pro tento kurz, kontaktujte nás a domluvíme se.

Křivka učení Apache Spark se na začátku pomalu zvyšuje, potřebuje hodně úsilí, aby se první vrátil. Tento kurz si klade za cíl proskočit první náročnou částí. Po absolvování tohoto kurzu účastníci porozumí základům Apache Spark, jasně odliší RDD od DataFrame, naučí se Python a Scala API, porozumí exekutorům a úkolům atd. Tento kurz také důsledně dodržuje doporučené postupy se zaměřuje na cloudové nasazení, Databricks a AWS. Studenti také porozumí rozdílům mezi AWS EMR a AWS Glue, jednou z nejnovějších služeb Spark společnosti AWS.

PUBLIKUM:

Data Engineer, DevOps, Data Scientist

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na softwarové inženýry, kteří chtějí streamovat velká data pomocí Spark Streaming a Scala.

Na konci tohoto školení budou účastníci schopni:

• Vytvářejte aplikace Spark pomocí programovacího jazyka Scala.
• Ke zpracování nepřetržitých toků dat použijte Spark Streaming.
• Zpracujte proudy dat v reálném čase pomocí Spark Streaming.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové vědce, kteří chtějí použít SMACK stack k vybudování platforem pro zpracování dat pro řešení velkých dat.

Na konci tohoto školení budou účastníci schopni:

• Implementujte architekturu datového kanálu pro zpracování velkých dat.
• Vyvíjejte klastrovou infrastrukturu pomocí Apache Mesos a Docker.
• Analyzujte data pomocí Spark a Scala.
• Spravujte nestrukturovaná data pomocí Apache Cassandra.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí provádět analýzu velkých dat pomocí Apache Spark ve svých aplikacích .NET.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Spark.
• Pochopte, jak .NET implementuje Spark API, aby k nim bylo možné přistupovat z aplikace .NET.
• Vyvíjejte aplikace pro zpracování dat pomocí C# nebo F#, schopné zpracovávat datové sady, jejichž velikost se měří v terabajtech a pedabajtech.
• Vyvíjejte funkce strojového učení pro aplikaci .NET pomocí funkcí Apache Spark.
• Proveďte průzkumnou analýzu pomocí SQL dotazů na velké soubory dat.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na systémové administrátory, kteří se chtějí naučit, jak nastavit, nasadit a spravovat Hadoop clustery v rámci své organizace.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Hadoop.
• Pochopte čtyři hlavní součásti ekoystému Hadoop: HDFS, MapReduce, YARN a Hadoop Common.
• Použijte Hadoop Distributed File System (HDFS) ke škálování clusteru na stovky nebo tisíce uzlů.
• Nastavte HDFS tak, aby fungoval jako úložný modul pro místní nasazení Spark.
• Nastavte Spark pro přístup k alternativním úložným řešením, jako jsou databázové systémy Amazon S3 a NoSQL, jako jsou Redis, Elasticsearch, Couchbase, Aerospike atd.
• Provádějte administrativní úkoly, jako je poskytování, správa, monitorování a zabezpečení clusteru Apache Hadoop.