Základy Apache Spark Počítačový Kurz

Tento instruktážní živý kurz (na místě nebo online) je určen pro středně pokročilé datové vědce a inženýry, kteří chtějí použít Google Colab a Apache Spark pro zpracování velkých dat a analytiku.

Po ukončení tohoto kurzu budou účastníci schopni:

• Nastavit prostředí pro velká data pomocí Google Colab a Sparku.
• Efektivně zpracovat a analyzovat výrazné datové sady pomocí Apache Spark.
• Visualizovat velká data ve spolupracovném prostředí.
• Integrace Apache Spark se cloudovými nástroji.

Analytické zpracování velkých dat zahrnuje proces zkoumání obrovských množství různorodých datových sad s cílem odhalit korelace, skryté vzory a další užitečné poznatky.

Zdravotní sektor má masivní množství komplexních heterogenních medicínských a klinických dat. Aplikace analýzy velkých dat na zdravotnická data nabízí obrovské potenciály pro odvození poznatků, které mohou přispět ke zlepšení poskytování zdravotní péče. Nicméně velký rozsah těchto datových souborů představuje významné výzvy pro jejich analýzy a praktické aplikace v klinickém prostředí.

V tomto instruktorem vedeném živém školení (zdáleně) se účastníci naučí provádět analytické zpracování velkých dat v oblasti zdravotnictví, kdy postupně absolvují sérii praktických cvičení ve živém laboratorním prostředí.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat nástroje pro analytické zpracování velkých dat, jako jsou Hadoop MapReduce a Spark
• Pochopit charakteristiky medicínských dat
• Aplikovat techniky analýzy velkých dat na medicínská data
• Zkoumat systémy a algoritmy pro velká data v kontextu zdravotnických aplikací

Cílová skupina

• Vývojáři
• Analytici dat (Data Scientists)

Formát kurzu

• Počástí přednáška, počásti diskuse, cvičení a velké množství praktické praxe.

Poznámka

• Pro objednání přizpůsobeného školení tohoto kurzu nás prosím kontaktujte, abychom se domluvili na detailních požadavcích.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na systémové administrátory, kteří se chtějí naučit, jak nastavit, nasadit a spravovat Hadoop clustery v rámci své organizace.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Hadoop.
• Pochopte čtyři hlavní součásti ekoystému Hadoop: HDFS, MapReduce, YARN a Hadoop Common.
• Použijte Hadoop Distributed File System (HDFS) ke škálování clusteru na stovky nebo tisíce uzlů.
• Nastavte HDFS tak, aby fungoval jako úložný modul pro místní nasazení Spark.
• Nastavte Spark pro přístup k alternativním úložným řešením, jako jsou databázové systémy Amazon S3 a NoSQL, jako jsou Redis, Elasticsearch, Couchbase, Aerospike atd.
• Provádějte administrativní úkoly, jako je poskytování, správa, monitorování a zabezpečení clusteru Apache Hadoop.

V tomto školení vedeném instruktorem, které se koná na místě nebo vzdáleně, zúčastníci naučí nastavovat a integrovat různé streamovací frameworky s existujícími systémy pro úložiště velkých dat a souvisejícími software a mikroslužbami.

Koncem tohoto školení budou zúčastníci schopni:

• Nainstalovat a nakonfigurovat různé streamovací frameworky, jako je Spark Streaming a Kafka Streaming.
• Porozumět a vybrat nejvhodnější framework pro daný úkol.
• Zpracovávat data v reálném čase, současně a řádek po řádku.
• Integrovat streamovací řešení s existujícími databázemi, datovými skladovami, datovými jezery atd.
• Integrovat nejvhodnější streamovací knihovnu s podnikovými aplikacemi a mikroslužbami.

Tato vedená školení, provedené živě v České republice (online nebo na místě), je zaměřena na datové analytiky, kteří chtějí použít SMACK stack pro budování platform zpracování dat pro řešení s velkými daty.

Na konci tohoto školení budou účastníci schopni:

• Implementovat architekturu data pipeline pro zpracování velkých dat.
• Vytvořit clusterovou infrastrukturu pomocí Apache Mesos a Dockeru.
• Analyzovat data s Sparkem a Scalou.
• Spravovat nestrukturovaná data pomocí Apache Cassandra.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na začátečníky až středně pokročilé správce systému, kteří chtějí nasazovat, udržovat a optimalizovat clustery Spark.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Spark v různých prostředích.
• Spravujte prostředky clusteru a monitorujte aplikace Spark.
• Optimalizujte výkon clusterů Spark.
• Implementujte bezpečnostní opatření a zajistěte vysokou dostupnost.
• Ladění a odstraňování běžných problémů se Sparkem.

Křivka učení Apache Spark se na začátku pomalu zvyšuje, potřebuje hodně úsilí, aby se první vrátil. Tento kurz si klade za cíl proskočit první náročnou částí. Po absolvování tohoto kurzu účastníci porozumí základům Apache Spark, jasně odliší RDD od DataFrame, naučí se Python a Scala API, porozumí exekutorům a úkolům atd. Tento kurz také důsledně dodržuje doporučené postupy se zaměřuje na cloudové nasazení, Databricks a AWS. Studenti také porozumí rozdílům mezi AWS EMR a AWS Glue, jednou z nejnovějších služeb Spark společnosti AWS.

PUBLIKUM:

Data Engineer, DevOps, Data Scientist

OBJEKTIVNÍ:

Tento kurz představí Apache Spark. Studenti se naučí, jak Spark zapadá do ekosystému velkých dat a jak Spark používat pro analýzu dat. Kurz pokrývá Spark Shell pro interaktivní analýzu dat, Spark internals, Spark API, Spark SQL, Spark streaming a strojové učení a graphX.

DIVÁCI:

Vývojáři / datoví analytici

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové vědce a vývojáře, kteří chtějí používat Spark NLP, postavený na Apache Spark, k vývoji, implementaci a škálování zpracování textu v přirozeném jazyce. modely a potrubí.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné vývojové prostředí, abyste mohli začít budovat kanály NLP pomocí Spark NLP.
• Pochopte funkce, architekturu a výhody používání Spark NLP.
• K implementaci zpracování textu použijte předem připravené modely dostupné v Spark NLP.
• Naučte se stavět, trénovat a měnit Spark NLP modely pro produkční projekty.
• Aplikujte klasifikaci, odvození a analýzu sentimentu na případy použití v reálném světě (klinická data, statistiky chování zákazníků atd.).

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí, jak používat Python a Spark společně k analýze velkých dat při práci na praktických cvičeních.

Na konci tohoto školení budou účastníci schopni:

• Naučte se používat Spark s Python k analýze Big Data.
• Pracujte na cvičeních, která napodobují případy ze skutečného světa.
• Použijte různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí používat a integrovat Spark, Hadoop a Python ke zpracování, analýze a transformaci velkých a komplexních souborů dat.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné prostředí pro zahájení zpracování velkých dat pomocí Spark, Hadoop a Python.
• Pochopte funkce, základní komponenty a architekturu Spark a Hadoop.
• Naučte se, jak integrovat Spark, Hadoop a Python pro zpracování velkých dat.
• Prozkoumejte nástroje v ekosystému Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka a Flume).
• Vytvářejte systémy doporučení pro společné filtrování podobné jako Netflix, YouTube, Amazon, Spotify a Google.
• Použijte Apache Mahout ke škálování algoritmů strojového učení.

Spark SQL je modul Apache Sparku pro práci se strukturovanými a nestrukturovanými daty. Spark SQL poskytuje informace o struktuře dat a prováděném výpočtu. Tato informace lze použít k optimalizaci. Dvě běžné použití Spark SQL jsou:
- ke spuštění dotazů SQL.
- ke čtení dat z existující instalace Hive.

V tomto vedeném školení (na místě nebo na dálku) se účastníci naučí analyzovat různé typy datových souborů pomocí Spark SQL.

Po absolvování tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Spark SQL.
• Provádět analýzu dat pomocí Spark SQL.
• Dotazovat se na data v různých formátech.
• Vizualizovat data a výsledky dotazů.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praxe.
• Přímo v laboratoři implementovat praktické příklady.

Možnosti úpravy kurzu

• Pro požadavek na personalizované školení se s námi prosím obraťte, abychom to mohli zorganizovat.

Stratio je datová platforma, která integruje big data, AI a správu do jediného řešení. Moduly Rocket a Intelligence umožňují rychlou datovou procházkou, transformaci a pokročilý analytický výkon ve firemních prostředích.

Tato instruktor-provedená živá školení (online nebo na místě) je určeno středně pokročilým datovým profesionálům, kteří chtějí efektivně používat moduly Rocket a Intelligence v Stratio s PySpark, zaměřením na smyčkové struktury, uživatelsky definované funkce a pokročilou datovou logiku.

Po ukončení tohoto školení budou účastníci schopni:

• Navigovat a pracovat ve Stratio platformě s využitím modulů Rocket a Intelligence.
• Používat PySpark ve kontextu nahrávání dat, transformace a analýzy.
• Používat smyčky a podmíněnou logiku pro ovládání datových pracovních toků a úkolů inženýrství funkcí.
• Vytvářet a spravovat uživatelsky definované funkce (UDF) pro opakovatelné datové operace v PySpark.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praxe.
• Praktické realizace v živém laboratorním prostředí.

Možnosti personalizace kurzu

• Pro požadavek na personalizované školení tohoto kurzu, kontaktujte nás pro uspořádání.