PySpark Školení v České republice

Tato živá výuka vedená instruktorem v České republice se zaměřuje na platformu Stratio, konkrétně na moduly Rocket a Intelligence v kombinaci s PySparkem. Účastníci zvládnou načítání dat, transformaci a pokročilé analýzy a získají praktické dovednosti ve smyčkách, UDF a podnikových datových workflow.

V tomto živém školení vedeném instruktorem v České republice se účastníci naučí, jak používat Python a Spark společně pro analýzu velkých dat, přičemž se budou věnovat praktickým úkolům.

Na konci tohoto školení budou účastníci schopni:

• Naučit se používat Spark s Pythonem pro analýzu velkých dat.
• Pracovat na úkolech, které napodobují reálné případy.
• Používat různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Toto živé školení s lektorem (online nebo prezenčně) je určeno datovým inženýrům, datovým analytikům a odborníkům v oblasti dat, kteří chtějí využít Databricks a PySpark k budování škálovatelných datových procesů a migraci existujících pracovních postupů založených na SQL.

Toto školení poskytuje praktický úvod do tvorby škálovatelných datových procesů a pracovních postupů v oblasti strojového učení s využitím nástroje PySpark. Účastníci se seznámí s tím, jak Apache Spark funguje v rámci moderních ekosystémů pro velká data a jak efektivně zpracovávat rozsáhlé datové soubory na základě principů distribuovaného výpočtu.

Tento třídenní praktický kurz se zaměřuje na budování a optimalizaci efektivních úloh pro zpracování dat pomocí PySpark, Pandas a Polars v Kubernetesových prostředích.

Účastníci získají praktické pochopení toho, jak se aplikace Spark spouštějí na Kubernetesu a jak rozhodnutí o konfiguraci na úrovni aplikace ovlivňují výkon, škálovatelnost, spotřebu zdrojů a náklady. Kurz pokrývá klíčové oblasti optimalizace, včetně velikosti executorů, alokace paměti, dynamické alokace, strategií partitionování, chování shuffle, problémů se soubory malého rozsahu a efektivního zpracování Parquet souborů.

Kurz rovněž řeší běžné výzvy při práci s Pandas, včetně omezení paměti a chyb typu „out-of-memory“ (překročení dostupné paměti), a představuje Polars jako vysoce výkonnou alternativu pro vybrané úlohy zpracování dat. Pomocí praktických cvičení budou účastníci diagnostikovat problémy s výkonem a pamětí, porovnávat různé konfigurační strategie a aplikovat optimalizační techniky na realistické scénáře ETL a machine learningu.

Zdůrazněním celého kurzu je praktické rozhodování: pochopení toho, jak identifikovat láhvy (bottlenecky), vybrat vhodný nástroj, efektivně nakonfigurovat Spark a vyvážit výkon se spotřebou zdrojů infrastruktury a náklady.