Streamování dat a zpracování dat v reálném čase Počítačový Kurz

Toto školení pod vedením lektora České republice (online nebo na místě) je určeno pro pokročilé pracovníky v oblasti dat, kteří chtějí optimalizovat pracovní postupy při zpracování dat, zajistit jejich integritu a vytvořit robustní řešení typu data lakehouse schopná reagovat na složitosti moderních velkých datových aplikací.

Po absolvování tohoto kurzu budou účastníci schopni:

• Hluboce porozumět architektuře Icebergu, včetně správy metadat a uspořádání souborů.
• Konfigurovat Iceberg tak, aby dosahoval optimálního výkonu v různých prostředích a integrovat ho s několika nástroji na zpracování dat.
• Spravovat rozsáhlé tabulky Iceberg, provádět komplexní změny schématu a řešit evoluci partitions.
• Ovládat techniky pro optimalizaci výkonu dotazů a efektivitu skenování velkých datových sad.
• Zavádět mechanismy zajišťující konzistenci dat, transakční spolehlivost a odolnost vůči chybám v distribuovaných prostředích.

Tento kurz vedený instruktorem České republice (online nebo prezenčně) je určen pro začínající pracovníky v oblasti dat, kteří si chtějí osvojit znalosti a dovednosti potřebné k efektivnímu využívání Apache Iceberg při správě rozsáhlých datových sad, zajištění integrity dat a optimalizaci procesů jejich zpracování.

Po absolvování tohoto kurzu budou účastníci schopni:

• Podrobně porozumět architektuře, vlastnostem a výhodám Apache Iceberg.
• Seznámit se s formáty tabulek, dělením dat podle partitioningu, vývojem schémat a možnostmi návratu v čase (time travel).
• Nainstalovat a konfigurovat Apache Iceberg v různých prostředích.
• Vytvářet, spravovat a upravovat tabulky typu Iceberg.
• Pochopit postup migrace dat z jiných formátů tabulek do Apache Iceberg.

Toto živé školení vedené lektorem <na místě> (online nebo na místě) je určeno pro datové vědce a inženýry středně pokročilé úrovně, kteří chtějí využít Google Colab a Apache Spark ke zpracování velkých dat.

Po absolvování tohoto kurzu budou účastníci schopni:

• Nastavit prostředí pro práci s velkými daty pomocí Google Colab a Sparku.
• Efektivně zpracovávat a analyzovat rozsáhlé datové sady pomocí Apache Sparku.
• Vizualizovat velká data v prostředí umožňujícím spolupráci více uživatelů.
• Integrovat Apache Spark s nástroji cloudových platforem.

Toto živé školení s lektorem (online nebo prezenčně) je určeno datovým inženýrům, datovým analytikům a odborníkům v oblasti dat, kteří chtějí využít Databricks a PySpark k budování škálovatelných datových procesů a migraci existujících pracovních postupů založených na SQL.

Toto školení poskytuje praktický úvod do tvorby škálovatelných datových procesů a pracovních postupů v oblasti strojového učení s využitím nástroje PySpark. Účastníci se seznámí s tím, jak Apache Spark funguje v rámci moderních ekosystémů pro velká data a jak efektivně zpracovávat rozsáhlé datové soubory na základě principů distribuovaného výpočtu.

Tento třídní praktický kurz se zaměřuje na vytváření a optimalizaci efektivních úloh pro zpracování dat pomocí PySpark, Pandas a Polars v prostředí založeném na Kubernetes.

Účastníci získají praktické pochopení toho, jak se aplikace Spark spouštějí v Kubernetes a jak rozhodnutí o konfiguraci na úrovni aplikace ovlivňují výkon, škálovatelnost, spotřebu zdrojů a náklady. Kurz pokrývá klíčové oblasti optimalizace, včetně dimensionování executorů, alokace paměti, dynamické alokace, strategií rozdělování (partitioning), chování shuffle, problémů s malými soubory a efektivního zpracování formátu Parquet.

Kurz též řeší běžné výzvy při práci s Pandas, včetně omezení paměti a chyb přetečení paměti (out-of-memory), a představuje Polars jako výkonnou alternativu pro vybrané úlohy zpracování dat. Prostřednictvím praktických cvičení budou účastníci diagnostikovat problémy s výkonem a pamětí, porovnávat různé strategie konfigurace a aplikovat techniky optimalizace na realističné scénáře ETL a strojového učení.

Důraz je po celý kurz kladen na praktické rozhodování: pochopení toho, jak identifikovat láhlová hrdla, vybrat vhodný nástroj, efektivně nakonfigurovat Spark a najít rovnováhu mezi výkonem a spotřebou zdrojů infrastruktury a náklady.

Toto školení vedené lektorem České republice (online nebo na místě) je určeno inženýrům, kteří si přejí nastavit a nasadit systém Apache Spark pro zpracování velmi rozsáhlých dat.

Po ukončení tohoto kurzu budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Spark.
• Rychle zpracovávat a analyzovat velmi rozsáhlé datové sady.
• Porozumět rozdílům mezi Apache Sparkem a Hadoop MapReduce a vědět, kdy který nástroj použít.
• Integrovat Apache Spark s dalšími nástroji pro strojové učení.

Tento školení vedené instruktorem v České republice (online nebo na místě) je určeno systémovým administrátorům od úrovně začátečníka po středně pokročilé, kteří chtějí nasadit, udržovat a optimalizovat klastry Spark.

Na konci tohoto školení budou účastníci schopen:

• nainstalovat a nakonfigurovat Apache Spark v různých prostředích.
• spravovat zdroje klastru a sledovat aplikace Spark.
• optimalizovat výkon klastrů Spark.
• implementovat opatření pro zabezpečení a zajistit vysokou dostupnost.
• odstraňovat potíže s běžnými problémy Sparku.

V tomto živém školení vedeném instruktorem v České republice se účastníci naučí, jak používat Python a Spark společně pro analýzu velkých dat, přičemž se budou věnovat praktickým úkolům.

Na konci tohoto školení budou účastníci schopni:

• Naučit se používat Spark s Pythonem pro analýzu velkých dat.
• Pracovat na úkolech, které napodobují reálné případy.
• Používat různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Toto školení vedené instruktorem v České republice (online či na místě) je určeno vývojářům, kteří chtějí využívat a integrovat Spark, Hadoop a Python k zpracování, analýze a transformaci rozsáhlých a složitých datových souborů.

Po absolvování tohoto kurzu budou účastníci schopni:

• Nastavit potřebné prostředí pro zahájení zpracování velkých dat pomocí Sparku, Hadoopu a Pythonu.
• Porozumět vlastnostem, klíčovým komponentám a architektuře Sparku a Hadoopu.
• Naučit se integrovat Spark, Hadoop a Python pro zpracování velkých dat.
• Poznat nástroje v rámci ekosystému Sparku (Spark MLlib, Spark Streaming, Kafka, Sqoop a Flume).
• Vytvořit doporučovací systémy založené na kolaborativní filtraci podobné těm u Netflixu, YouTube, Amazonu, Spotify či Googlu.
• Využít Apache Mahout k škálování algoritmů strojového učení.