Datové sklady: Koncepty, návrh a implementace Počítačový Kurz

Toto školení pod vedením lektora České republice (online nebo na místě) je určeno pro pokročilé pracovníky v oblasti dat, kteří chtějí optimalizovat pracovní postupy při zpracování dat, zajistit jejich integritu a vytvořit robustní řešení typu data lakehouse schopná reagovat na složitosti moderních velkých datových aplikací.

Po absolvování tohoto kurzu budou účastníci schopni:

• Hluboce porozumět architektuře Icebergu, včetně správy metadat a uspořádání souborů.
• Konfigurovat Iceberg tak, aby dosahoval optimálního výkonu v různých prostředích a integrovat ho s několika nástroji na zpracování dat.
• Spravovat rozsáhlé tabulky Iceberg, provádět komplexní změny schématu a řešit evoluci partitions.
• Ovládat techniky pro optimalizaci výkonu dotazů a efektivitu skenování velkých datových sad.
• Zavádět mechanismy zajišťující konzistenci dat, transakční spolehlivost a odolnost vůči chybám v distribuovaných prostředích.

Tento kurz vedený instruktorem České republice (online nebo prezenčně) je určen pro začínající pracovníky v oblasti dat, kteří si chtějí osvojit znalosti a dovednosti potřebné k efektivnímu využívání Apache Iceberg při správě rozsáhlých datových sad, zajištění integrity dat a optimalizaci procesů jejich zpracování.

Po absolvování tohoto kurzu budou účastníci schopni:

• Podrobně porozumět architektuře, vlastnostem a výhodám Apache Iceberg.
• Seznámit se s formáty tabulek, dělením dat podle partitioningu, vývojem schémat a možnostmi návratu v čase (time travel).
• Nainstalovat a konfigurovat Apache Iceberg v různých prostředích.
• Vytvářet, spravovat a upravovat tabulky typu Iceberg.
• Pochopit postup migrace dat z jiných formátů tabulek do Apache Iceberg.

Toto živé školení vedené lektorem <na místě> (online nebo na místě) je určeno pro datové vědce a inženýry středně pokročilé úrovně, kteří chtějí využít Google Colab a Apache Spark ke zpracování velkých dat.

Po absolvování tohoto kurzu budou účastníci schopni:

• Nastavit prostředí pro práci s velkými daty pomocí Google Colab a Sparku.
• Efektivně zpracovávat a analyzovat rozsáhlé datové sady pomocí Apache Sparku.
• Vizualizovat velká data v prostředí umožňujícím spolupráci více uživatelů.
• Integrovat Apache Spark s nástroji cloudových platforem.

Pokroky v technologiích a rostoucí množství informací mění způsob podnikání v mnoha odvětvích, včetně veřejné správy. Díky rychlému rozvoji mobilních zařízení, aplikací, chytrých senzorů, cloudových řešení a portálů určených pro občany roste množství generovaných vládních dat i míra jejich digitálního archivování. S tím, jak se digitální informace stávají stále složitějšími a rozmanitějšími, narůstají také nároky na jejich správu, zpracování, ukládání, zabezpečení a likvidaci. Nové nástroje pro shromažďování, vyhledávání, identifikaci vzorců a analýzu pomáhají organizacím získávat poznatky i ze strukturovaných i nestrukturovaných dat. Vládní sektor stojí na bodě obratu – uvědomuje si, že informace jsou strategickým aktivem a je nezbytné je chránit, využívat a analyzovat k lepšímu plnění úkolů i služeb pro veřejnost. Vedoucí představitelé vlády se nyní snaží budovat organizace založené na datech, aby mohly efektivněji dosahovat svých cílů a stanovily vztahy mezi událostmi, lidmi, procesy a informacemi.

Vysoce hodnotná řešení pro vládní sektor vzniknou kombinací nejrevolučnějších technologií:

• Mobilní zařízení a aplikace
• Cloudové služby
• Sociální podnikatelské technologie a síťování
• Velká data a analytika

Velká data představují jedno z klíčových řešení pro vládní sféru – umožňují dělat lepší rozhodnutí na základě rozpoznání vzorců ve velkém množství dat, ať už strukturovaných či nestrukturovaných.

K dosažení tohoto cíle však nestačí pouze shromažďovat obrovské množství dat. „K pochopení takto rozsáhlých objemů velkých dat je zapotřebí špičkových nástrojů a technologií, které dokážou z rozmanitých toků informací vytěžit užitečné poznatky,“ napsali Tom Kalil a Fen Zhao z Úřadu pro vědu a technologie Bílého domu na blogu OSTP.

V roce 2012 Bílý dům podpořil vládní agentury v hledání těchto nástrojů založením Národní iniciativy pro výzkum a rozvoj velkých dat. Tato iniciativa vyčlenila více než 200 milionů dolarů na využití rostoucího potenciálu velkých dat i nástrojů potřebných k jejich analýze.

Výzvy spojené s velkými daty jsou stejně zásadní jako jejich přínos. Jednou z nich je efektivní ukládání dat. Rozpočty však i nadále zůstávají omezené, a proto musí vládní instituce minimalizovat náklady na úložiště dat za megabajt a zajistit snadnou dostupnost dat pro uživatele podle jejich potřeb. Zálohování velkých objemů informací tuto situaci dále komplikuje.

Další výzvou je efektivní analýza dat. Mnohé agentury využívají komerční nástroje, které jim pomáhají procházet rozsáhlými množstvími dat a identifikovat trendy vedoucí ke zlepšení jejich fungování. (Podle nedávné studie společnosti MeriTalk si ředitelé informačních technologií ve federálních agenturách myslí, že velká data by jim mohla ušetřit více než 500 miliard dolarů při zachování plnění úkolů.)

Vlastní nástroje pro práci s velkými daty také pomáhají vládním institucím v analýze informací. Například Skupina pro výpočetní analytiku v Národní laboratoři Oak Ridge nabídla ostatním agenturám svůj analytický systém Piranha. Ten pomohl lékařským výzkumníkům objevit spojitost, díky které lze předem rozpoznat aneuryzma aorty. Využívá se také k méně složitým úkolům – například k procházení životopisů za účelem spojení uchazečů o práci s personalisty.

Účastníci, kteří absolvují tento praktický kurz pod vedením lektora v České republice, získají reálné znalosti o velkých datech a souvisejících technologiích, metodách a nástrojích.

Během kurzu budou mít účastníci možnost tyto poznatky uplatnit v praxi prostřednictvím názorných cvičení. Důležitou součástí výuky je také spolupráce ve skupinách a zpětná vazba od lektora.

Kurz začíná úvodem do základních konceptů velkých dat, poté se zaměří na programovací jazyky a metody určené k analýze dat. Na závěr rozebíráme nástroje a infrastrukturu umožňující ukládání velkých dat, jejich distribuované zpracování a škálovatelnost.

Toto živé školení s lektorem (online nebo prezenčně) je určeno datovým inženýrům, datovým analytikům a odborníkům v oblasti dat, kteří chtějí využít Databricks a PySpark k budování škálovatelných datových procesů a migraci existujících pracovních postupů založených na SQL.

Apache NiFi je open-source platforma určená k integraci dat a zpracování událostí na principu toků. Umožňuje automatizované a v reálném čase provádění směrování, transformace dat a mediaci mezi různými systémy s využitím webového uživatelského rozhraní a detailní kontroly.

Toto školení pod vedením lektora (na místě nebo vzdáleně) je určeno správcům systémů a inženýrům středně pokročilé úrovně, kteří chtějí nasazovat, spravovat, zabezpečovat a optimalizovat datové toky v prostředí produkce.

Po absolvování tohoto kurzu budou účastníci schopni:

• Instalovat, konfigurovat a udržovat clustery Apache NiFi.
• Navrhovat a spravovat datové toky z různých zdrojů i cílů.
• Implementovat automatizaci toků, jejich směrování a transformační logiku.
• Optimalizovat výkon systému, monitorovat jeho chod a řešit případné problémy.

Formát kurzu

• Interaktivní výklad s diskuzí o skutečných architekturách systémů.
• Praktické cvičení: vytváření, nasazování a správa datových toků.
• Cvičení založená na konkrétních scénářích v prostředí laboratoří.

Možnosti přizpůsobení kurzu

• Chcete-li si vyžádat individuálně upravené školení, kontaktujte nás pro domluvu.

Toto školení poskytuje praktický úvod do tvorby škálovatelných datových procesů a pracovních postupů v oblasti strojového učení s využitím nástroje PySpark. Účastníci se seznámí s tím, jak Apache Spark funguje v rámci moderních ekosystémů pro velká data a jak efektivně zpracovávat rozsáhlé datové soubory na základě principů distribuovaného výpočtu.

Toto školení vedené lektorem České republice (online nebo na místě) je určeno inženýrům, kteří si přejí nastavit a nasadit systém Apache Spark pro zpracování velmi rozsáhlých dat.

Po ukončení tohoto kurzu budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Spark.
• Rychle zpracovávat a analyzovat velmi rozsáhlé datové sady.
• Porozumět rozdílům mezi Apache Sparkem a Hadoop MapReduce a vědět, kdy který nástroj použít.
• Integrovat Apache Spark s dalšími nástroji pro strojové učení.

Toto školení vedené instruktorem v <lok> (online nebo na místě) je určeno pro systémové administrátory s začátečnickou až středně pokročilou úrovní znalostí, kteří chtějí nasazovat, udržovat a optimalizovat Spark clustery.

Po absolvování tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Spark v různých prostředích.
• Správně spravovat zdroje clusteru a monitorovat běžící Spark aplikace.
• Optimalizovat výkon Spark clusterů.
• Implementovat bezpečnostní opatření a zajistit vysokou dostupnost systému.
• Diagnostikovat a řešit běžné problémy spojené se Sparkem.

Na začátku si osvojení Apache Sparku vyžaduje určité úsilí a učení se může zdát náročnější. Tento kurz má za cíl pomoci účastníkům tuto obtížnou fázi překonat. Po absolvování kurzu budou mít základní znalosti o Apache Sparku – dokážou rozlišit RDD od DataFrame, seznámí se s rozhraními v Pythonu a Scala, pochopí koncepty exekutorů a úloh atd. Kurz se také zaměřuje na osvědčené postupy při nasazování do cloudu – konkrétně na platformy Databricks a AWS. Účastníci si dále osvojí rozdíly mezi službami AWS EMR a AWS Glue, která je nejnovější službou Sparku od společnosti Amazon.

KDO JE KURZ URČEN:

Inženýři dat, odborníci na DevOps, data scientista

V tomto školení pod vedením instruktora se účastníci naučí, jak společně použít Python a Spark k analýze velkých dat na základě praktických cvičení.

Na konci tohoto kurzu budou schopni:

• Používat Spark společně s Pythonem k analýze velkých dat.
• Zpracovávat cvičení, která simulují reálné pracovní situace.
• Využívat různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Toto školení vedené instruktorem v České republice (online či na místě) je určeno vývojářům, kteří chtějí využívat a integrovat Spark, Hadoop a Python k zpracování, analýze a transformaci rozsáhlých a složitých datových souborů.

Po absolvování tohoto kurzu budou účastníci schopni:

• Nastavit potřebné prostředí pro zahájení zpracování velkých dat pomocí Sparku, Hadoopu a Pythonu.
• Porozumět vlastnostem, klíčovým komponentám a architektuře Sparku a Hadoopu.
• Naučit se integrovat Spark, Hadoop a Python pro zpracování velkých dat.
• Poznat nástroje v rámci ekosystému Sparku (Spark MLlib, Spark Streaming, Kafka, Sqoop a Flume).
• Vytvořit doporučovací systémy založené na kolaborativní filtraci podobné těm u Netflixu, YouTube, Amazonu, Spotify či Googlu.
• Využít Apache Mahout k škálování algoritmů strojového učení.

Stratio je datově orientovaná platforma, která v jediném řešení spojuje velká data, umělou inteligenci a správu dat. Díky svým modulům Rocket a Intelligence umožňuje rychlou exploraci dat, jejich transformaci a pokročilou analýzu v podnikovém prostředí.

Tento kurz vedený instruktorem (online nebo na místě) je určen pro data profesionály střední úrovně, kteří chtějí efektivně využívat moduly Rocket a Intelligence ve Stratiu s pomocí PySpark. Zaměřuje se na cykly, uživatelsky definované funkce a pokročilou datovou logiku.

Po absolvování tohoto kurzu budou účastníci schopni:

• Orientovat se a pracovat na platformě Stratio s využitím modulů Rocket a Intelligence.
• Využívat PySpark při načítání, transformaci a analýze dat.
• Používat cykly a podmínkovou logiku k řízení toků dat a vytváření funkcí pro zpracování dat.
• Vytvářet a spravovat uživatelsky definované funkce (UDF) pro opakované použití v PySpark.

Formát kurzu

• Interaktivní přednášky a diskuze.
• Bohatá množství cvičení a praktických úkolů.
• Praktické implementace v živém laboratorním prostředí.

Možnosti přizpůsobení kurzu

• Chcete-li si vyžádat individuálně připravený kurz, kontaktujte nás za účelem domluvy.