Big Data Školení v Prague

Tento instruktážní živý kurz (na místě nebo online) je určen pro středně pokročilé datové vědce a inženýry, kteří chtějí použít Google Colab a Apache Spark pro zpracování velkých dat a analytiku.

Po ukončení tohoto kurzu budou účastníci schopni:

• Nastavit prostředí pro velká data pomocí Google Colab a Sparku.
• Efektivně zpracovat a analyzovat výrazné datové sady pomocí Apache Spark.
• Visualizovat velká data ve spolupracovném prostředí.
• Integrace Apache Spark se cloudovými nástroji.

Stratio je datově orientovaná platforma, která integruje big data, umělou inteligenci (AI) a řízení do jednotného řešení. Její moduly Rocket a Intelligence umožňují rychlé prozkoumávání, transformaci a pokročilé analýzy dat v podnikových prostředích.

Tato instruktorem vedena živá školení (online nebo na místě) je určená pro středně pokročilé odborníky na data, kteří chtějí efektivně používat moduly Rocket a Intelligence v Stratio s PySpark, s důrazem na smyčkové struktury, uživatelsky definované funkce (UDFs) a pokročilou datovou logiku.

Na konci tohoto školení budou účastníci schopni:

• Navigovat a pracovat v platformě Stratio pomocí modulů Rocket a Intelligence.
• Používat PySpark ve kontextu ingesta, transformace a analýzy dat.
• Využívat smyčky a podmíněnou logiku k řízení pracovních postupů s daty a úloh předzpracování dat.
• Vytvářet a spravovat uživatelsky definované funkce (UDFs) pro opakovatelné operace s daty v PySpark.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praxe.
• Praktické implementace v živém laboratorním prostředí.

Možnosti přizpůsobení kurzu

• Pro požadavek na přizpůsobené školení tohoto kurzu, prosím nás kontaktujte pro domluvu.

Data warehousing je praktikou návrhu, budování a provozování centralizovaných úložišť dat podporujících analýzy, reportování a rozhodování.

Tuto vedenou školení (online nebo na místě) určeného pro středně pokročilé datové odborníky, kteří chtějí modelovat dimenzionální data, budovat robustní ETL a ELT kanály a optimalizovat analytické pracovní úkazy.

Na konci tohoto školení budou účastníci schopni:

• Vysvětlit základní koncepty a architektury datových skladů.
• Navrhovat dimenzionální modely a vybírat mezi star a snowflake schématy.
• Spolehlivě budovat a orchestrovat ETL a ELT kanály.
• Rozlišovat OLTP proti OLAP pracovním úkazům a optimalizovat je pro analýzy.

Formát Kurzu

• Interaktivní přednášky a diskuse.
• Mnoho cvičení a praxe.
• Praktická implementace v živé laboratorním prostředí.

Možnosti Přizpůsobení Kurzu

• Pokud požadujete přizpůsobené školení pro tento kurz, kontaktujte nás k uspořádání.

Účastníci, kteří absolvují toto živé školení vedené instruktorem v Prague, získají praktické znalosti z reálného světa Big Data a souvisejících technologií, metodologií a nástrojů.

Účastníci budou mít příležitost uplatnit tyto znalosti v praxi prostřednictvím praktických cvičení. Skupinová interakce a zpětná vazba od instruktora tvoří důležitou součást třídy.

Kurz začíná úvodem do elementárních konceptů Big Data, poté pokračuje do programovacích jazyků a metodologií používaných k provádění Data Analysis. Nakonec probereme nástroje a infrastrukturu, které umožňují Big Data úložiště, distribuované zpracování a Scalaschopnost.

Greenplum je open-source dataová platforma s masivně paralelní zpracování (MPP), navržená pro analýzu a velké datové prostředí.

Toto vedení instruktorem živé školení (online nebo na místě) je určeno středně pokročilým až pokročilým technickým uživatelům, kteří se chtějí seznámit s interní architekturou Greenplum, vytvářet optimalizované datové modely a používat vysoký výkon SQL ve distribuovaných prostředích.

Na konci tohoto školení budou účastníci schopni:

• Pochopit architekturu Greenplum bez sdíleného stavu a model paralelismu.
• Navrhovat distribuované struktury tabulek a oddíly optimalizované pro výkon dotazů.
• Používat strategie indexace, formáty úložišť a techniky fyzického návrhu.
• Interpretovat plány EXPLAIN a optimalizovat dotazy pomocí nejlepších praktik.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praktické praxe.
• Praktické implementace v živém laboratorním prostředí.

Možnosti přizpůsobení kurzu

• Pro požadavek na přizpůsobené školení tohoto kurzu, prosím nás kontaktujte pro uspořádání.

Greenplum je open-source datová platforma s masivně paralelní architekturou založená na PostgreSQL, navržená pro pokročilé analýzy a velkém měřítku data warehousing.

Toto instruktorem vedené živé školení (online nebo na místě) je zaměřeno na středně pokročilé administrátory, kteří si přejí efektivně instalovat, konfigurovat a spravovat Greenplum prostředí, včetně správy systémových aktualizací a knihoven.

Na konci tohoto školení budou účastníci schopni:

• Instalovat a konfigurovat produkčně připravený Greenplum cluster.
• Spravovat systémové aktualizace a bezpečně aplikovat opravy.
• Řídit správu knihoven Greenplum pro analýzy a rozšíření.
• Diagnostikovat a monitorovat systémy Greenplum.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Praktické použití Greenplum v kontrolovaném laboratorním prostředí.
• Cvičení zaměřená na nastavení clusteru, aktualizační pracovní postupy a systémové rozšíření.

Možnosti přizpůsobení kurzu

• Pokud si přejete přizpůsobené školení pro tento kurz na základě vašeho prostředí nebo datové platformy, kontaktujte nás pro domluvu.

Tento instruktorem vedený, živý kurz v Prague (online nebo na místě) je zaměřen na pokročilé dataové odborníky, kteří chtějí optimalizovat pracovní postupy zpracování dat, zajistit integrity dat a implementovat robustní řešení pro data lakes, která mohou vypořádat s komplexností moderních aplikací na velkých datech.

Na konci tohoto kurzu budou účastníci schopni:

• Získat hluboké pochopení architektury Icebergu, včetně správy metadat a uspořádání souborů.
• Nakonfigurovat Iceberg pro optimální výkon ve různých prostředích a integrovat ho s více datovými procesními enginami.
• Spravovat velké tabulky Iceberg, provádět komplexní změny schémat a zpracovávat evoluci oddílů.
• Ovládat techniky pro optimalizaci výkonu dotazů a efektivitu čtení dat pro velké soubory dat.
• Implementovat mechanismy k zajištění konzistence dat, správě transakčních záruk a řešení selhání v distribuovaných prostředích.

Toto vedené školení na živou v Prague (online nebo na místě) je určeno začínajícím datovým profesionálům, kteří se chtějí naučit efektivně využívat Apache Iceberg pro správu velkých datových souborů, zajištění integrity dat a optimalizaci pracovních postupů při zpracování dat.

Na konci tohoto školení budou účastníci schopni:

• Důkladně pochopit architekturu, funkce a výhody Apache Iceberg.
• Seznámit se s formáty tabulek, rozdělováním, evolucí schémat a funkcemi časového cestování.
• Nainstalovat a nakonfigurovat Apache Iceberg v různých prostředích.
• Vytvářet, spravovat a manipulovat s tabulkami Iceberg.
• Porozumět procesu migrování dat z jiných formátů tabulek do Iceberg.

Toto instruktorem vedené, živé školení v Prague (online nebo na místě) je určeno středně pokročilým IT profesionálům, kteří chtějí rozšířit své dovednosti v oblasti datové architektury, řízení dat, cloud computingu a technologií big data, aby mohli efektivně spravovat a analyzovat velké soubory dat pro migraci dat ve svých organizacích.

Na konci tohoto školení budou účastníci schopni:

• Porozumět základním pojmům a komponentám různých datových architektur.
• Získat podrobné porozumění principů řízení dat a jejich důležitosti v regulačních prostředích.
• Implementovat a spravovat rámce pro řízení dat, jako je Dama a Togaf.
• Využít cloudové platformy pro efektivní ukládání, zpracování a správu dat.

Toto instruktorem vedené živé školení v Prague (online nebo na místě) je určeno data inženýrům střední úrovně, kteří se chtějí naučit, jak používat Azure Data Lake Storage Gen2 pro efektivní analytické řešení.

Na konci tohoto školení budou účastníci schopni:

• Porozumět architektuře a klíčovým funkcím Azure Data Lake Storage Gen2.
• Optimalizovat úložiště dat a přístup k nim s ohledem na náklady a výkon.
• Integrovat Azure Data Lake Storage Gen2 s jinými službami Azure pro analýzu a zpracování dat.
• Vytvářet řešení pomocí rozhraní API Azure Data Lake Storage Gen2.
• Řešit běžné problémy a optimalizovat strategie úložiště.

Toto živé školení vedené instruktorem v Prague (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí používat a integrovat Spark, Hadoop a Python ke zpracování, analýze a transformaci velkých a komplexních souborů dat.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné prostředí pro zahájení zpracování velkých dat pomocí Spark, Hadoop a Python.
• Pochopte funkce, základní komponenty a architekturu Spark a Hadoop.
• Naučte se, jak integrovat Spark, Hadoop a Python pro zpracování velkých dat.
• Prozkoumejte nástroje v ekosystému Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka a Flume).
• Vytvářejte systémy doporučení pro společné filtrování podobné jako Netflix, YouTube, Amazon, Spotify a Google.
• Použijte Apache Mahout ke škálování algoritmů strojového učení.

Big Data a pokročilá analýza je aplikací sofistikovaných technik a nástrojů na analýzu velkých, komplexních datových sad s cílem získat praktické inzichten a podpořit strategické rozhodování.

Toto instruktorem vedené živé školení (online nebo na místě) je určeno pokročilým datovým profesionálům, kteří chtějí využít moderní analýzní metody a technologie big data pro prediktivní, preskriptivní a reálně časovou analýzu.

Konec školení bude účastníci schopni:

• Návrh a implementace datových potrubí pro strukturovaná i nestrukturovaná data v velkém měřítku.
• Použití pokročilých technik strojového učení a hlubokého učení na masivní datové sady.
• Využívání distribuovaných výpočetních rámceství pro reálně časovou analýzu a streamování dat.
• Integrace big data analýzy do systémů podnikové inteligence a rozhodovacích procesů.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praktické praxe.
• Rukojmí implementace v živém laboratorním prostředí.

Možnosti přizpůsobení kurzu

• Pro požadavek na přizpůsobené školení se prosím obraťte k nám pro uspořádání.

Tuto instruktorem vedenou, živou školení (online nebo na místě) je zaměřeno na středně pokročilé IT profissionály, kteří chtějí získat komplexní pochopení IBM DataStage z hlediska správy i vývoje. To jim umožní efektivně řídit a využívat tento nástroj ve svých pracovních místech.

Na konci tohoto školení budou účastníci schopni:

• Pochopit základní pojmy DataStage.
• Dovědět se, jak efektivně instalovat, konfigurovat a spravovat prostředí DataStage.
• Připojovat se k různým zdrojům dat a efektivně extrahovat data z databází, plochých souborů a externích zdrojů.
• Implementovat účinné techniky načítání dat.

Toto živé školení vedené instruktorem v Prague (online nebo na místě) je zaměřeno na začátečníky až středně pokročilé správce systému, kteří chtějí nasazovat, udržovat a optimalizovat clustery Spark.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Spark v různých prostředích.
• Spravujte prostředky clusteru a monitorujte aplikace Spark.
• Optimalizujte výkon clusterů Spark.
• Implementujte bezpečnostní opatření a zajistěte vysokou dostupnost.
• Ladění a odstraňování běžných problémů se Sparkem.

V tomto živém školení pod vedením instruktora v Prague se účastníci naučí, jak používat Python a Spark společně k analýze velkých dat při práci na praktických cvičeních.

Na konci tohoto školení budou účastníci schopni:

• Naučte se používat Spark s Python k analýze Big Data.
• Pracujte na cvičeních, která napodobují případy ze skutečného světa.
• Použijte různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Pokroky v technologiích a rostoucí množství informací transformují způsob, jakým se vedou obchody ve mnoha odvětvích, včetně státní správy. Rychlý růst mobilních zařízení a aplikací, inteligentních senzorů a zařízení, cloudu a portálů pro občany vedou k zvýšenému generování dat a jejich digitální archivaci v rámci státních orgánů. S rozšířením a komplexitou digitálních informací se také komplikují správa, zpracování, úložiště, ochrana a zrušení dat. Nové nástroje pro zachycování, vyhledávání, objevování a analýzu pomáhají organizacím získat přehledy ze svých nestrukturovaných dat. Tržní prostor státních orgánů se nachází na přelomu, kdy pochopili, že informace jsou strategickým aktivem, a že je třeba chránit, využívat a analyzovat jak strukturovaná, tak nestrukturovaná data pro lepší plnění misí. Když vůdci státních orgánů usilují o rozvoj datově orientovaných organizací k úspěšnému dosažení svých cílů, klаду základy pro zjištění vazeb mezi událostmi, lidmi, procesy a informacemi.

Cenné řešení pro státní orgány vytvoří kombinace nejvíce inovativních technologií:

• Mobilní zařízení a aplikace
• Cloudové služby
• Technologie sociálních sítí a podnikové sociální technologie
• Big Data a analýza dat

Big Data je jedním z inteligentních odvětvových řešení, které státní orgány umožňuje lépe rozhodovat na základě vzorců odhalených analýzou velkých objemů dat – souvisejících a nesouvisejících, strukturovaných i nestrukturovaných.

Dosahování těchto úspěchů vyžaduje však mnohem více než pouhé shromažďování obrovského množství dat. „Pochopení těchto objemů Big Data vyžaduje moderní nástroje a technologie, které umožňují analyzovat a extrahovat užitečné znalosti z rozsáhlých a různorodých datových toků,“ napsali Tom Kalil a Fen Zhao ze Střediska pro vědu a technologii Bílého domu na blogu OSTP.

Bílý dům udělal krok směrem ke pomoci orgánům při hledání těchto technologií, když v roce 2012 zavedl Národní iniciativu pro Big Data v oblasti výzkumu a vývoje. Tato iniciativa zahrnovala více než 200 milionů dolarů na maximalizaci využití explodujících objemů Big Data a nástrojů potřebných k jejich analýze.

Výzvy, které přináší Big Data, jsou téměř stejně ohromující jako sliby, které nabízí. Efektivní úložiště dat je jednou z těchto výzev. Rozpočty jsou stále napjaté, takže orgány musí minimalizovat cenu za megabajt a udržet data snadno přístupná, aby si uživatelé mohli k nim kdykoli a jak potřebují. Záloha obrovských objemů dat zvyšuje tuto výzvu.

Efektivní analýza dat je další velkou výzvou. Mnoho orgánů používá komerční nástroje, které jim umožňují procházet hory dat a zjišťovat trendy, které jim pomáhají fungovat efektivněji. (Nedávno MeriTalk objevil, že federální IT manažeři věří, že Big Data může pomoci orgánům ušetřit více než 500 miliard dolarů a zároveň splňovat své cíle.)

Vlastní vývojová nástroje pro Big Data také umožňují orgánům analyzovat jejich data. Například, Laboratoř Oak Ridge National Laboratory Computational Data Analytics Group svou datovou analýzu systému Piranha nabídla i jiným orgánům. Tento systém pomohl lékařským vědcům najít vazbu, která může upozornit lékaře na aortickou aneurysmu před jejím vypuknutím. Používá se také pro běžnější úkoly, jako je třídění životopisů k propojení uchazečů s zaměstnavateli.

V tomto instruktorem vedeném živém školení v Prague se účastníci naučí, jakým způsobem přistupovat k technologiím Big Data, hodnotit jejich dopad na stávající procesy a politiky a implementovat tyto technologie za účelem identifikace trestné činnosti a předcházení trestné činnosti. Budou prozkoumány případové studie organizací činných v trestním řízení z celého světa, abychom získali přehled o jejich přístupech, výzvách a výsledcích.

Na konci tohoto školení budou účastníci schopni:

• Spojte Big Data technologii s tradičními procesy shromažďování dat a dejte dohromady příběh během vyšetřování.
• Implementujte průmyslová řešení pro ukládání a zpracování velkých dat pro analýzu dat.
• Připravit návrh na přijetí nejvhodnějších nástrojů a procesů umožňujících přístup k vyšetřování trestných činů založený na datech.

Big Data je termín, který označuje řešení určená pro ukládání a zpracování velkých souborů dat. Tato řešení Big Data, původně vyvinutá Google, se vyvinula a inspirovala další podobné projekty, z nichž mnohé jsou dostupné jako open-source. R je oblíbený programovací jazyk ve finančním průmyslu.

Přehled kurzu

Tento kurz nabízí praktický a strukturovaný úvod do budování systémů streamování dat v reálném čase. Zahrnuje základní koncepty, architektonické vzory a industriální nástroje používané ke zpracování kontinuálních dat ve velkém měřítku. Účastníci se naučí, jak navrhovat, implementovat a optimalizovat streamovací potrubí pomocí moderních frameworků. Kurz postupuje od základních myšlenek po praktické aplikace, což umožňuje účastníkům s důvěrou budovat řešení připravená pro produkční prostředí v reálném čase.

Formát školení

• Výuka s lektorem s vedoucím vysvětlováním

• Procházení koncepty s příklady z praxe

• Praktické ukázky a programovací cvičení

• Pozvolně rostoucí laboratorní úlohy napojené na každodenní témata

• Interaktivní diskuse a otázky a odpovědi

Cíle kurzu

• Porozumět konceptům streamování dat v reálném čase a architektuře systémů

• Rozlišovat mezi modely zpracování dávkových dat a streamovaných dat

• Navrhovat škálovatelná a odolná vůle chybám streamovací potrubí

• Práce s distribuovanými streamovacími nástroji a frameworky

• Aplikovat zpracování času události, okénkování a stavové operace

• Budovat a optimalizovat řešení pro zpracování dat v reálném čase pro obchodní případy použití

Apache NiFi je open-source platforma pro tokovou integraci dat a zpracování událostí. Umožňuje automatizované, v reálném čase probíhající směrování dat, transformaci a mediatorku systémů mezi různými platformami s webovým uživatelským rozhraním a detailní kontrolou.

Tato školení vedená instruktorem (na místě nebo zdálky) je určená středně pokročilým správcům a inženýrům, kteří chtějí nasadit, spravovat, zabezpečit a optimalizovat NiFi toky dat v produkčních prostředích.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat, nakonfigurovat a udržovat Apache NiFi clustery.
• Naprojektovat a spravovat toky dat z různých zdrojů a cílů.
• Implementovat automatizaci toku, směrování a transformační logiku.
• Optimalizovat výkon, monitorovat operace a řešit problémy.

Formát kurzu

• Interaktivní přednáška s diskusí o reálných architekturách.
• Praktické cvičení: vytváření, nasazování a správa toků.
• Scénáře založená cvičení v prostředí live-labu.

Možnosti přizpůsobení kurzu

• Pro požadavek na přizpůsobené školení se prosím obrátěte k nám, abychom to zařídili.

Tento kurz poskytuje praktický úvod do tvorby škálovatelných pracovních postupů zpracování dat a strojového učení pomocí PySparku. Účastníci se naučí, jak Apache Spark funguje v rámci moderních ekosystémů pro práci s velkými daty, a jak efektivně zpracovávat rozsáhlé datové sady pomocí principů distribuovaného výpočtu.

Tato vedená školení na místě (online nebo na místě) je určená inženýrům, kteří chtějí nastavit a nasadit systém Apache Spark pro zpracování velmi velkých objemů dat.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Spark.
• Rychle zpracovávat a analyzovat velmi velké soubory dat.
• Pochopit rozdíly mezi Apache Sparkem a Hadoop MapReduce a kdy se který používá.
• Integrovat Apache Spark s jinými nástroji pro strojové učení.

Křivka učení Apache Spark se na začátku pomalu zvyšuje, potřebuje hodně úsilí, aby se první vrátil. Tento kurz si klade za cíl proskočit první náročnou částí. Po absolvování tohoto kurzu účastníci porozumí základům Apache Spark, jasně odliší RDD od DataFrame, naučí se Python a Scala API, porozumí exekutorům a úkolům atd. Tento kurz také důsledně dodržuje doporučené postupy se zaměřuje na cloudové nasazení, Databricks a AWS. Studenti také porozumí rozdílům mezi AWS EMR a AWS Glue, jednou z nejnovějších služeb Spark společnosti AWS.

PUBLIKUM:

Data Engineer, DevOps, Data Scientist

Toto instruktor-vedené živé školení v Prague (online nebo na místě) je určeno technickým osobám, které chtějí nasadit Talend Open Studio for Big Data pro zjednodušení procesu čtení a zpracování big data.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Talend Open Studio for Big Data.
• Připojit se k big data systémům, jako jsou Cloudera, HortonWorks, MapR, Amazon EMR a Apache.
• Porozumět a nastavit komponenty a připojení Open Studio pro big data.
• Nakonfigurovat parametry pro automatické generování MapReduce kódu.
• Použít rozhraní Open Studio pro přetahování a spouštění Hadoop úloh.
• Prototypovat big data kanály.
• Automatizovat big data integrační projekty.