Big Data Školení v Prague

Toto živé školení vedené lektorem <na místě> (online nebo na místě) je určeno pro datové vědce a inženýry středně pokročilé úrovně, kteří chtějí využít Google Colab a Apache Spark ke zpracování velkých dat.

Po absolvování tohoto kurzu budou účastníci schopni:

• Nastavit prostředí pro práci s velkými daty pomocí Google Colab a Sparku.
• Efektivně zpracovávat a analyzovat rozsáhlé datové sady pomocí Apache Sparku.
• Vizualizovat velká data v prostředí umožňujícím spolupráci více uživatelů.
• Integrovat Apache Spark s nástroji cloudových platforem.

Stratio je datově orientovaná platforma, která v jediném řešení spojuje velká data, umělou inteligenci a správu dat. Díky svým modulům Rocket a Intelligence umožňuje rychlou exploraci dat, jejich transformaci a pokročilou analýzu v podnikovém prostředí.

Tento kurz vedený instruktorem (online nebo na místě) je určen pro data profesionály střední úrovně, kteří chtějí efektivně využívat moduly Rocket a Intelligence ve Stratiu s pomocí PySpark. Zaměřuje se na cykly, uživatelsky definované funkce a pokročilou datovou logiku.

Po absolvování tohoto kurzu budou účastníci schopni:

• Orientovat se a pracovat na platformě Stratio s využitím modulů Rocket a Intelligence.
• Využívat PySpark při načítání, transformaci a analýze dat.
• Používat cykly a podmínkovou logiku k řízení toků dat a vytváření funkcí pro zpracování dat.
• Vytvářet a spravovat uživatelsky definované funkce (UDF) pro opakované použití v PySpark.

Formát kurzu

• Interaktivní přednášky a diskuze.
• Bohatá množství cvičení a praktických úkolů.
• Praktické implementace v živém laboratorním prostředí.

Možnosti přizpůsobení kurzu

• Chcete-li si vyžádat individuálně připravený kurz, kontaktujte nás za účelem domluvy.

Datové sklady představují metodu navrhování, budování a provozování centralizovaných úložišť dat určených k analýzám, tvorbě reportů a podpoře rozhodovacích procesů.

Toto školení vedené instruktorem (online nebo na místě) je určeno datovým specialistům střední úrovně, kteří si přejí modelovat dimenzionální data, vytvářet spolehlivé ETL/ELT pipeline a optimalizovat analytické zátěže.

Po absolvování tohoto kurzu budou účastníci schopni:

• Vysvětlit základní koncepty a architekturu datových skladů.
• Navrhnout dimenzionální modely a vybrat mezi hvězdicovým či sněhovkovitým schématem.
• Vytvořit a spravovat ETL/ELT procesy tak, aby fungovaly spolehlivě.
• Rozlišovat mezi zátěžemi typu OLTP a OLAP a optimalizovat je pro účely analýzy.

Forma kurzu

• Interaktivní přednášky a diskuze.
• Četné cvičení a praktické úkoly.
• Praktická implementace v prostředí živého laboratorního prostoru.

Možnosti přizpůsobení kurzu

• Chcete-li si vyžádat zakázkové školení, kontaktujte nás a domluvme detaily.

Účastníci, kteří absolvují tento praktický kurz pod vedením lektora v Prague, získají reálné znalosti o velkých datech a souvisejících technologiích, metodách a nástrojích.

Během kurzu budou mít účastníci možnost tyto poznatky uplatnit v praxi prostřednictvím názorných cvičení. Důležitou součástí výuky je také spolupráce ve skupinách a zpětná vazba od lektora.

Kurz začíná úvodem do základních konceptů velkých dat, poté se zaměří na programovací jazyky a metody určené k analýze dat. Na závěr rozebíráme nástroje a infrastrukturu umožňující ukládání velkých dat, jejich distribuované zpracování a škálovatelnost.

Greenplum je open-source platforma pro masivně paralelní zpracování (MPP) určená k analytice a práci s rozsáhlými daty.

Toto školení pod vedením instruktora (online nebo na místě) je určeno pro technicky zdatné uživatele středně pokročilé až pokročilé úrovně, kteří se chtějí seznámit s vnitřní architekturou Greenplumu, navrhovat optimalizované datové modely a používat vysoce efektivní SQL dotazy v distribuovaném prostředí.

Po absolvování tohoto kurzu budou účastníci schopni:

• Pochopit architekturu Greenplumu založenou na principu sdílení zdrojů a model paralelního zpracování.
• Navrhovat struktury distribuovaných tabulek a jejich rozdělení s ohledem na výkon dotazů.
• Využívat strategie indexování, formáty ukládání dat a postupy fyzického návrhu databází.
• Interpretovat výstupy nástroje EXPLAIN a optimalizovat dotazy podle osvědčených postupů.

Forma kurzu

• Interaktivní přednášky a diskuze.
• Četné cvičení a praktické úkoly.
• Praktická realizace v reálném laboratorním prostředí.

Možnosti přizpůsobení kurzu

• Chcete-li si vyžádat školení na míru, kontaktujte nás pro domluvení podrobností.

Greenplum je open-source platforma pro zpracování velkých objemů dat s využitím masivně paralelního zpracování, založená na systému PostgreSQL. Je určena především pro pokročilou analytiku a skladování dat ve velkém měřítku.

Toto školení vedené instruktorem (online nebo prezenčně) je určeno pro administrátory na středně pokročilé úrovni, kteří si přejí efektivně instalovat, konfigurovat a spravovat prostředí Greenplum – včetně správy aktualizací systému a knihoven.

Po absolvování tohoto kurzu budou účastníci schopni:

• Nainstalovat a nakonfigurovat funkční cluster Greenplum v produkčním prostředí.
• Bezpečně spravovat systémové aktualizace a aplikovat opravy.
• Správně nakládat s knihovnami v Greenplumu určenými k analytice a rozšíření funkcionalit.
• Provádět diagnostiku a monitorování systémů Greenplum.

Forma kurzu

• Interaktivní přednášky a diskuze.
• Praktické cvičení v kontrolovaném laboratorním prostředí s použitím Greenplumu.
• Vedená cvičení zaměřená na nastavení clusteru, procesy aktualizací a rozšiřování systému.

Možnosti přizpůsobení kurzu

• Chcete-li si vyžádat kurz upravený speciálně pro vaše prostředí či datovou platformu, kontaktujte nás a domluvte se na detailních požadavcích.

Toto školení pod vedením lektora Prague (online nebo na místě) je určeno pro pokročilé pracovníky v oblasti dat, kteří chtějí optimalizovat pracovní postupy při zpracování dat, zajistit jejich integritu a vytvořit robustní řešení typu data lakehouse schopná reagovat na složitosti moderních velkých datových aplikací.

Po absolvování tohoto kurzu budou účastníci schopni:

• Hluboce porozumět architektuře Icebergu, včetně správy metadat a uspořádání souborů.
• Konfigurovat Iceberg tak, aby dosahoval optimálního výkonu v různých prostředích a integrovat ho s několika nástroji na zpracování dat.
• Spravovat rozsáhlé tabulky Iceberg, provádět komplexní změny schématu a řešit evoluci partitions.
• Ovládat techniky pro optimalizaci výkonu dotazů a efektivitu skenování velkých datových sad.
• Zavádět mechanismy zajišťující konzistenci dat, transakční spolehlivost a odolnost vůči chybám v distribuovaných prostředích.

Tento kurz vedený instruktorem Prague (online nebo prezenčně) je určen pro začínající pracovníky v oblasti dat, kteří si chtějí osvojit znalosti a dovednosti potřebné k efektivnímu využívání Apache Iceberg při správě rozsáhlých datových sad, zajištění integrity dat a optimalizaci procesů jejich zpracování.

Po absolvování tohoto kurzu budou účastníci schopni:

• Podrobně porozumět architektuře, vlastnostem a výhodám Apache Iceberg.
• Seznámit se s formáty tabulek, dělením dat podle partitioningu, vývojem schémat a možnostmi návratu v čase (time travel).
• Nainstalovat a konfigurovat Apache Iceberg v různých prostředích.
• Vytvářet, spravovat a upravovat tabulky typu Iceberg.
• Pochopit postup migrace dat z jiných formátů tabulek do Apache Iceberg.

Tento kurz vedený instruktorem Prague (online či prezenčně) je určen pro IT profesionály středně pokročilé úrovně, kteří si chtějí rozšířit znalosti v oblasti datové architektury, správy dat, cloud computingu a technologií velkých dat. Cílem je umožnit jim efektivní manipulaci s rozsáhlými daty a jejich migraci v rámci organizací.

Po absolvování tohoto kurzu budou účastníci schopni:

• Pochopit základní koncepty a prvky různých datových architektur.
• Získat komplexní přehled o principech správy dat a jejich významu v regulačním prostředí.
• Implementovat a spravovat rámce pro správu dat, jako jsou Dama a Togaf.
• Využívat cloudové platformy k efektivnímu ukládání, zpracování a správě dat.

Toto školení pod vedením instruktora Prague (online nebo na místě) je určeno pro datové inženýry středně pokročilé úrovně, kteří se chtějí naučit využívat Azure Data Lake Storage Gen2 při tvorbě efektivních řešení pro analýzu dat.

Po absolvování tohoto kurzu budou účastníci schopni:

• Porozumět architektuře a klíčovým vlastnostem Azure Data Lake Storage Gen2.
• Optimalizovat ukládání dat a přístup k nim s ohledem na náklady i výkon.
• Integrovat Azure Data Lake Storage Gen2 s dalšími službami Azure pro analýzu a zpracování dat.
• Vytvářet řešení využívající rozhraní API Azure Data Lake Storage Gen2.
• Řešit běžné problémy a optimalizovat strategie ukládání dat.

Toto školení vedené instruktorem v Prague (online či na místě) je určeno vývojářům, kteří chtějí využívat a integrovat Spark, Hadoop a Python k zpracování, analýze a transformaci rozsáhlých a složitých datových souborů.

Po absolvování tohoto kurzu budou účastníci schopni:

• Nastavit potřebné prostředí pro zahájení zpracování velkých dat pomocí Sparku, Hadoopu a Pythonu.
• Porozumět vlastnostem, klíčovým komponentám a architektuře Sparku a Hadoopu.
• Naučit se integrovat Spark, Hadoop a Python pro zpracování velkých dat.
• Poznat nástroje v rámci ekosystému Sparku (Spark MLlib, Spark Streaming, Kafka, Sqoop a Flume).
• Vytvořit doporučovací systémy založené na kolaborativní filtraci podobné těm u Netflixu, YouTube, Amazonu, Spotify či Googlu.
• Využít Apache Mahout k škálování algoritmů strojového učení.

Velká data a pokročilá analytika zahrnují využití sofistikovaných technik a nástrojů k analýze rozsáhlých a složitých datových souborů za účelem získání prakticky použitelných poznatků a podpory strategického rozhodování.

Toto školení vedené instruktorem (online nebo na místě) je určeno pro pokročilé datové profesionály, kteří chtějí využít nejnovější analytické metody a technologie z oblasti velkých dat k prediktivní, preskriptivní i reálně časové analýze.

Po absolvování tohoto kurzu budou účastníci schopni:

• Navrhnout a realizovat rozsáhlé datové procesní pipeline pro strukturovaná i nestrukturovaná data.
• Aplikovat pokročilé metody strojového učení a hlubokého učení na velmi rozsáhlé datové soubory.
• Využívat distribuované výpočetní rámce k reálně časové analýze a zpracování datových toků.
• Integrovat analytiku velkých dat do systémů pro obchodní inteligenci a rozhodování.

Forma kurzu

• Interaktivní přednášky s diskuzemi.
• Velké množství cvičení a praktických úkolů.
• Praktická realizace v prostředí testovací laboratoře.

Možnosti přizpůsobení kurzu

• Pokud si přejete požádat o individuálně upravený kurz, kontaktujte nás za účelem domluvy.

Toto školení vedené instruktorem v <lok> (online nebo prezenčně) je určeno pro IT profesionály střední úrovně, kteří si chtějí osvojit komplexní znalosti o IBM DataStage jak z administrativního, tak i vývojářského hlediska. Po absolvování kurzu budou schopni tento nástroj efektivně využívat ve svém pracovním prostředí.

Na konci tohoto školení budou účastníci schopni:

• Pochopit základní principy IBM DataStage.
• Naučit se, jak správně instalovat, konfigurovat a spravovat prostředí IBM DataStage.
• Připojit se k různým zdrojům dat a efektivně z nich extrahovat informace – ať už z databází, textových souborů nebo externích systémů.
• Aplikovat účinné techniky načítání dat.

Toto školení vedené instruktorem v <lok> (online nebo na místě) je určeno pro systémové administrátory s začátečnickou až středně pokročilou úrovní znalostí, kteří chtějí nasazovat, udržovat a optimalizovat Spark clustery.

Po absolvování tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Spark v různých prostředích.
• Správně spravovat zdroje clusteru a monitorovat běžící Spark aplikace.
• Optimalizovat výkon Spark clusterů.
• Implementovat bezpečnostní opatření a zajistit vysokou dostupnost systému.
• Diagnostikovat a řešit běžné problémy spojené se Sparkem.

V tomto školení pod vedením instruktora se účastníci naučí, jak společně použít Python a Spark k analýze velkých dat na základě praktických cvičení.

Na konci tohoto kurzu budou schopni:

• Používat Spark společně s Pythonem k analýze velkých dat.
• Zpracovávat cvičení, která simulují reálné pracovní situace.
• Využívat různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Pokroky v technologiích a rostoucí množství informací mění způsob podnikání v mnoha odvětvích, včetně veřejné správy. Díky rychlému rozvoji mobilních zařízení, aplikací, chytrých senzorů, cloudových řešení a portálů určených pro občany roste množství generovaných vládních dat i míra jejich digitálního archivování. S tím, jak se digitální informace stávají stále složitějšími a rozmanitějšími, narůstají také nároky na jejich správu, zpracování, ukládání, zabezpečení a likvidaci. Nové nástroje pro shromažďování, vyhledávání, identifikaci vzorců a analýzu pomáhají organizacím získávat poznatky i ze strukturovaných i nestrukturovaných dat. Vládní sektor stojí na bodě obratu – uvědomuje si, že informace jsou strategickým aktivem a je nezbytné je chránit, využívat a analyzovat k lepšímu plnění úkolů i služeb pro veřejnost. Vedoucí představitelé vlády se nyní snaží budovat organizace založené na datech, aby mohly efektivněji dosahovat svých cílů a stanovily vztahy mezi událostmi, lidmi, procesy a informacemi.

Vysoce hodnotná řešení pro vládní sektor vzniknou kombinací nejrevolučnějších technologií:

• Mobilní zařízení a aplikace
• Cloudové služby
• Sociální podnikatelské technologie a síťování
• Velká data a analytika

Velká data představují jedno z klíčových řešení pro vládní sféru – umožňují dělat lepší rozhodnutí na základě rozpoznání vzorců ve velkém množství dat, ať už strukturovaných či nestrukturovaných.

K dosažení tohoto cíle však nestačí pouze shromažďovat obrovské množství dat. „K pochopení takto rozsáhlých objemů velkých dat je zapotřebí špičkových nástrojů a technologií, které dokážou z rozmanitých toků informací vytěžit užitečné poznatky,“ napsali Tom Kalil a Fen Zhao z Úřadu pro vědu a technologie Bílého domu na blogu OSTP.

V roce 2012 Bílý dům podpořil vládní agentury v hledání těchto nástrojů založením Národní iniciativy pro výzkum a rozvoj velkých dat. Tato iniciativa vyčlenila více než 200 milionů dolarů na využití rostoucího potenciálu velkých dat i nástrojů potřebných k jejich analýze.

Výzvy spojené s velkými daty jsou stejně zásadní jako jejich přínos. Jednou z nich je efektivní ukládání dat. Rozpočty však i nadále zůstávají omezené, a proto musí vládní instituce minimalizovat náklady na úložiště dat za megabajt a zajistit snadnou dostupnost dat pro uživatele podle jejich potřeb. Zálohování velkých objemů informací tuto situaci dále komplikuje.

Další výzvou je efektivní analýza dat. Mnohé agentury využívají komerční nástroje, které jim pomáhají procházet rozsáhlými množstvími dat a identifikovat trendy vedoucí ke zlepšení jejich fungování. (Podle nedávné studie společnosti MeriTalk si ředitelé informačních technologií ve federálních agenturách myslí, že velká data by jim mohla ušetřit více než 500 miliard dolarů při zachování plnění úkolů.)

Vlastní nástroje pro práci s velkými daty také pomáhají vládním institucím v analýze informací. Například Skupina pro výpočetní analytiku v Národní laboratoři Oak Ridge nabídla ostatním agenturám svůj analytický systém Piranha. Ten pomohl lékařským výzkumníkům objevit spojitost, díky které lze předem rozpoznat aneuryzma aorty. Využívá se také k méně složitým úkolům – například k procházení životopisů za účelem spojení uchazečů o práci s personalisty.

Během tohoto školení pod vedením instruktora v místě Prague se účastníci naučí, jaký přístup je třeba zvolit ke technologiím velkých dat, jak posoudit jejich vliv na stávající postupy a politiku a nakonec je nasadí za účelem identifikace trestné činnosti a prevence kriminality. Budou rovněž analyzovány případové studie z celého světa, aby si osvojili postupy, problémy i výsledky jejich implementace.

Po absolvování tohoto školení budou účastníci schopni:

• Kombinovat technologie velkých dat s tradičními postupy sběru dat, aby v rámci vyšetřování poskládali celkový obraz situace.
• Implementovat průmyslová řešení pro ukládání a zpracování velkých dat určená k jejich analýze.
• Připravit návrh na zavedení nejvhodnějších nástrojů a postupů, jež umožní přístup ke kriminalistickému vyšetřování založenému na datech.

Velká data je termín označující řešení určená k ukládání a zpracování rozsáhlých souborů dat. Tato řešení byla původně vyvinuta společností Google, poté se rozvinula a inspirovala vznik dalších podobných projektů, z nichž mnohé jsou dostupné jako open-source software. Jazyk R je v oblasti finančnictví velmi oblíbený programovací jazyk.

Přehled kurzu

Tento kurz nabízí praktický a strukturovaný úvod do tvorby systémů na streamování dat v reálném čase. Seznámí vás s klíčovými koncepty, architektonickými vzory a nástroji používanými v praxi k zpracovávání nepřetržitě proudících dat. Účastníci se naučí navrhovat, implementovat a optimalizovat streamovací kanály s využitím moderních frameworků. Kurz postupně vede od základních principů až po konkrétní praktické aplikace, aby si každý účastník mohl samostatně vybudovat funkčná řešení pro reálné podnikatelské využití.

Forma školení

• Lekce vedené instruktorem s podrobným výkladem

 • Vysvětlování konceptů na reálných příkladech z praxe

 • Praktická ukázky a programátorské cvičení

 • Postupné laboratoře odpovídající jednotlivým tématům dne

 • Interaktivní diskuse a možnost klást otázky

Cíle kurzu

• Porozumět konceptům streamování dat v reálném čase i celkové architektuře systémů

 • Rozlišovat mezi modely zpracování dávkových a streamovaných dat

¢ Navrhnout škálovatelné a odolné proti chybám streamovací kanály

• Pracovat s distribuovanými nástroji na streamování a příslušnými frameworky

 • Využívat zpracování na základě časových údajů událostí, techniky okénkování a operace s uloženým stavem dat

Tvorba a optimalizace řešení pro zpracování dat v reálném čase v souladu s potřebami podniků.

Apache NiFi je open-source platforma určená k integraci dat a zpracování událostí na principu toků. Umožňuje automatizované a v reálném čase provádění směrování, transformace dat a mediaci mezi různými systémy s využitím webového uživatelského rozhraní a detailní kontroly.

Toto školení pod vedením lektora (na místě nebo vzdáleně) je určeno správcům systémů a inženýrům středně pokročilé úrovně, kteří chtějí nasazovat, spravovat, zabezpečovat a optimalizovat datové toky v prostředí produkce.

Po absolvování tohoto kurzu budou účastníci schopni:

• Instalovat, konfigurovat a udržovat clustery Apache NiFi.
• Navrhovat a spravovat datové toky z různých zdrojů i cílů.
• Implementovat automatizaci toků, jejich směrování a transformační logiku.
• Optimalizovat výkon systému, monitorovat jeho chod a řešit případné problémy.

Formát kurzu

• Interaktivní výklad s diskuzí o skutečných architekturách systémů.
• Praktické cvičení: vytváření, nasazování a správa datových toků.
• Cvičení založená na konkrétních scénářích v prostředí laboratoří.

Možnosti přizpůsobení kurzu

• Chcete-li si vyžádat individuálně upravené školení, kontaktujte nás pro domluvu.

Toto školení poskytuje praktický úvod do tvorby škálovatelných datových procesů a pracovních postupů v oblasti strojového učení s využitím nástroje PySpark. Účastníci se seznámí s tím, jak Apache Spark funguje v rámci moderních ekosystémů pro velká data a jak efektivně zpracovávat rozsáhlé datové soubory na základě principů distribuovaného výpočtu.

Toto školení vedené lektorem Prague (online nebo na místě) je určeno inženýrům, kteří si přejí nastavit a nasadit systém Apache Spark pro zpracování velmi rozsáhlých dat.

Po ukončení tohoto kurzu budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Spark.
• Rychle zpracovávat a analyzovat velmi rozsáhlé datové sady.
• Porozumět rozdílům mezi Apache Sparkem a Hadoop MapReduce a vědět, kdy který nástroj použít.
• Integrovat Apache Spark s dalšími nástroji pro strojové učení.

Na začátku si osvojení Apache Sparku vyžaduje určité úsilí a učení se může zdát náročnější. Tento kurz má za cíl pomoci účastníkům tuto obtížnou fázi překonat. Po absolvování kurzu budou mít základní znalosti o Apache Sparku – dokážou rozlišit RDD od DataFrame, seznámí se s rozhraními v Pythonu a Scala, pochopí koncepty exekutorů a úloh atd. Kurz se také zaměřuje na osvědčené postupy při nasazování do cloudu – konkrétně na platformy Databricks a AWS. Účastníci si dále osvojí rozdíly mezi službami AWS EMR a AWS Glue, která je nejnovější službou Sparku od společnosti Amazon.

KDO JE KURZ URČEN:

Inženýři dat, odborníci na DevOps, data scientista

Toto školení pod vedením instruktora <na místě> (online nebo na místě) je určeno technicky zdatným osobám, které chtějí využít Talend Open Studio pro velká data k zjednodušení procesů čtení a analýzy rozsáhlých datových sad.

Po absolvování tohoto kurzu budou účastníci schopni:

• Nainstalovat a nastavit Talend Open Studio pro velká data.
• Připojit se k systémům určeným k zpracování velkých dat, jako jsou Cloudera, HortonWorks, MapR, Amazon EMR a Apache.
• Porozumět a konfigurovat komponenty a konektory pro práci s velkými daty v rámci Open Studio.
• Nastavit parametry tak, aby se automaticky generoval kód typu MapReduce.
• Využívat rozhraní typu „drag-and-drop“ v Open Studio ke spouštění úloh určených pro Hadoop.
• Vytvářet prototypy datových toků pro velká data.
• Automatizovat projekty spojené s integrací velkých dat.