Apache Spark v cloudu Počítačový Kurz

Toto živé školení vedené lektorem <na místě> (online nebo na místě) je určeno pro datové vědce a inženýry středně pokročilé úrovně, kteří chtějí využít Google Colab a Apache Spark ke zpracování velkých dat.

Po absolvování tohoto kurzu budou účastníci schopni:

• Nastavit prostředí pro práci s velkými daty pomocí Google Colab a Sparku.
• Efektivně zpracovávat a analyzovat rozsáhlé datové sady pomocí Apache Sparku.
• Vizualizovat velká data v prostředí umožňujícím spolupráci více uživatelů.
• Integrovat Apache Spark s nástroji cloudových platforem.

Toto živé školení s lektorem (online nebo prezenčně) je určeno datovým inženýrům, datovým analytikům a odborníkům v oblasti dat, kteří chtějí využít Databricks a PySpark k budování škálovatelných datových procesů a migraci existujících pracovních postupů založených na SQL.

Toto školení poskytuje praktický úvod do tvorby škálovatelných datových procesů a pracovních postupů v oblasti strojového učení s využitím nástroje PySpark. Účastníci se seznámí s tím, jak Apache Spark funguje v rámci moderních ekosystémů pro velká data a jak efektivně zpracovávat rozsáhlé datové soubory na základě principů distribuovaného výpočtu.

Tento třídní praktický kurz se zaměřuje na vytváření a optimalizaci efektivních úloh pro zpracování dat pomocí PySpark, Pandas a Polars v prostředí založeném na Kubernetes.

Účastníci získají praktické pochopení toho, jak se aplikace Spark spouštějí v Kubernetes a jak rozhodnutí o konfiguraci na úrovni aplikace ovlivňují výkon, škálovatelnost, spotřebu zdrojů a náklady. Kurz pokrývá klíčové oblasti optimalizace, včetně dimensionování executorů, alokace paměti, dynamické alokace, strategií rozdělování (partitioning), chování shuffle, problémů s malými soubory a efektivního zpracování formátu Parquet.

Kurz též řeší běžné výzvy při práci s Pandas, včetně omezení paměti a chyb přetečení paměti (out-of-memory), a představuje Polars jako výkonnou alternativu pro vybrané úlohy zpracování dat. Prostřednictvím praktických cvičení budou účastníci diagnostikovat problémy s výkonem a pamětí, porovnávat různé strategie konfigurace a aplikovat techniky optimalizace na realističné scénáře ETL a strojového učení.

Důraz je po celý kurz kladen na praktické rozhodování: pochopení toho, jak identifikovat láhlová hrdla, vybrat vhodný nástroj, efektivně nakonfigurovat Spark a najít rovnováhu mezi výkonem a spotřebou zdrojů infrastruktury a náklady.

Toto školení vedené lektorem České republice (online nebo na místě) je určeno inženýrům, kteří si přejí nastavit a nasadit systém Apache Spark pro zpracování velmi rozsáhlých dat.

Po ukončení tohoto kurzu budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Spark.
• Rychle zpracovávat a analyzovat velmi rozsáhlé datové sady.
• Porozumět rozdílům mezi Apache Sparkem a Hadoop MapReduce a vědět, kdy který nástroj použít.
• Integrovat Apache Spark s dalšími nástroji pro strojové učení.

Tento školení vedené instruktorem v České republice (online nebo na místě) je určeno systémovým administrátorům od úrovně začátečníka po středně pokročilé, kteří chtějí nasadit, udržovat a optimalizovat klastry Spark.

Na konci tohoto školení budou účastníci schopen:

• nainstalovat a nakonfigurovat Apache Spark v různých prostředích.
• spravovat zdroje klastru a sledovat aplikace Spark.
• optimalizovat výkon klastrů Spark.
• implementovat opatření pro zabezpečení a zajistit vysokou dostupnost.
• odstraňovat potíže s běžnými problémy Sparku.

V tomto živém školení vedeném instruktorem v České republice se účastníci naučí, jak používat Python a Spark společně pro analýzu velkých dat, přičemž se budou věnovat praktickým úkolům.

Na konci tohoto školení budou účastníci schopni:

• Naučit se používat Spark s Pythonem pro analýzu velkých dat.
• Pracovat na úkolech, které napodobují reálné případy.
• Používat různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Toto školení vedené instruktorem v České republice (online či na místě) je určeno vývojářům, kteří chtějí využívat a integrovat Spark, Hadoop a Python k zpracování, analýze a transformaci rozsáhlých a složitých datových souborů.

Po absolvování tohoto kurzu budou účastníci schopni:

• Nastavit potřebné prostředí pro zahájení zpracování velkých dat pomocí Sparku, Hadoopu a Pythonu.
• Porozumět vlastnostem, klíčovým komponentám a architektuře Sparku a Hadoopu.
• Naučit se integrovat Spark, Hadoop a Python pro zpracování velkých dat.
• Poznat nástroje v rámci ekosystému Sparku (Spark MLlib, Spark Streaming, Kafka, Sqoop a Flume).
• Vytvořit doporučovací systémy založené na kolaborativní filtraci podobné těm u Netflixu, YouTube, Amazonu, Spotify či Googlu.
• Využít Apache Mahout k škálování algoritmů strojového učení.