PySpark Školení v Prague

V tomto živém školení vedeném instruktorem v Prague se účastníci naučí, jak používat Python a Spark společně pro analýzu velkých dat, přičemž se budou věnovat praktickým úkolům.

Na konci tohoto školení budou účastníci schopni:

• Naučit se používat Spark s Pythonem pro analýzu velkých dat.
• Pracovat na úkolech, které napodobují reálné případy.
• Používat různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Toto živé školení s lektorem (online nebo prezenčně) je určeno datovým inženýrům, datovým analytikům a odborníkům v oblasti dat, kteří chtějí využít Databricks a PySpark k budování škálovatelných datových procesů a migraci existujících pracovních postupů založených na SQL.

Toto školení poskytuje praktický úvod do tvorby škálovatelných datových procesů a pracovních postupů v oblasti strojového učení s využitím nástroje PySpark. Účastníci se seznámí s tím, jak Apache Spark funguje v rámci moderních ekosystémů pro velká data a jak efektivně zpracovávat rozsáhlé datové soubory na základě principů distribuovaného výpočtu.

Tento třídní praktický kurz se zaměřuje na vytváření a optimalizaci efektivních úloh pro zpracování dat pomocí PySpark, Pandas a Polars v prostředí založeném na Kubernetes.

Účastníci získají praktické pochopení toho, jak se aplikace Spark spouštějí v Kubernetes a jak rozhodnutí o konfiguraci na úrovni aplikace ovlivňují výkon, škálovatelnost, spotřebu zdrojů a náklady. Kurz pokrývá klíčové oblasti optimalizace, včetně dimensionování executorů, alokace paměti, dynamické alokace, strategií rozdělování (partitioning), chování shuffle, problémů s malými soubory a efektivního zpracování formátu Parquet.

Kurz též řeší běžné výzvy při práci s Pandas, včetně omezení paměti a chyb přetečení paměti (out-of-memory), a představuje Polars jako výkonnou alternativu pro vybrané úlohy zpracování dat. Prostřednictvím praktických cvičení budou účastníci diagnostikovat problémy s výkonem a pamětí, porovnávat různé strategie konfigurace a aplikovat techniky optimalizace na realističné scénáře ETL a strojového učení.

Důraz je po celý kurz kladen na praktické rozhodování: pochopení toho, jak identifikovat láhlová hrdla, vybrat vhodný nástroj, efektivně nakonfigurovat Spark a najít rovnováhu mezi výkonem a spotřebou zdrojů infrastruktury a náklady.