Big Data Školení v České republice

Tento instruktážní živý kurz (na místě nebo online) je určen pro středně pokročilé datové vědce a inženýry, kteří chtějí použít Google Colab a Apache Spark pro zpracování velkých dat a analytiku.

Po ukončení tohoto kurzu budou účastníci schopni:

• Nastavit prostředí pro velká data pomocí Google Colab a Sparku.
• Efektivně zpracovat a analyzovat výrazné datové sady pomocí Apache Spark.
• Visualizovat velká data ve spolupracovném prostředí.
• Integrace Apache Spark se cloudovými nástroji.

Stratio je datová platforma, která integruje big data, AI a správu do jediného řešení. Moduly Rocket a Intelligence umožňují rychlou datovou procházkou, transformaci a pokročilý analytický výkon ve firemních prostředích.

Tato instruktor-provedená živá školení (online nebo na místě) je určeno středně pokročilým datovým profesionálům, kteří chtějí efektivně používat moduly Rocket a Intelligence v Stratio s PySpark, zaměřením na smyčkové struktury, uživatelsky definované funkce a pokročilou datovou logiku.

Po ukončení tohoto školení budou účastníci schopni:

• Navigovat a pracovat ve Stratio platformě s využitím modulů Rocket a Intelligence.
• Používat PySpark ve kontextu nahrávání dat, transformace a analýzy.
• Používat smyčky a podmíněnou logiku pro ovládání datových pracovních toků a úkolů inženýrství funkcí.
• Vytvářet a spravovat uživatelsky definované funkce (UDF) pro opakovatelné datové operace v PySpark.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praxe.
• Praktické realizace v živém laboratorním prostředí.

Možnosti personalizace kurzu

• Pro požadavek na personalizované školení tohoto kurzu, kontaktujte nás pro uspořádání.

Data warehousing je praktika návrhu, sestavování a provozování centralizovaných úložišť dat podporujících analýzy, vytváření zpráv a rozhodování.

Toto instruktorem vedené živé školení (online nebo na místě) je určeno středně pokročilým datovým odborníkům, kteří se chtějí učit modelovat dimenzionální data, vytvářet robustní ETL přepustky a optimalizovat analytické úlohy.

Na konci tohoto školení budou účastníci schopni:

• Vysvětlit základní pojmy a architektury data warehousing.
• Návrh dimenzionálních modelů a výběr mezi hvězdicovými a sněhulákem schématy.
• Spolehlivě sestavovat a řídit ETL a ELT přepustky.
• Rozlišovat OLTP proti OLAP úlohám a optimalizovat je pro analýzu.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praktiky.
• Praktické implementace v živém laboratorním prostředí.

Možnosti přizpůsobení kurzu

• Pro požadavek na přizpůsobené školení pro tento kurz, prosím, nás kontaktujte k uspořádání.

Účastníci, kteří absolvují toto živé školení vedené instruktorem v České republice, získají praktické znalosti z reálného světa Big Data a souvisejících technologií, metodologií a nástrojů.

Účastníci budou mít příležitost uplatnit tyto znalosti v praxi prostřednictvím praktických cvičení. Skupinová interakce a zpětná vazba od instruktora tvoří důležitou součást třídy.

Kurz začíná úvodem do elementárních konceptů Big Data, poté pokračuje do programovacích jazyků a metodologií používaných k provádění Data Analysis. Nakonec probereme nástroje a infrastrukturu, které umožňují Big Data úložiště, distribuované zpracování a Scalaschopnost.

Greenplum je open-source dataová platforma s masivně paralelní zpracování (MPP), navržená pro analýzu a velké datové prostředí.

Toto vedení instruktorem živé školení (online nebo na místě) je určeno středně pokročilým až pokročilým technickým uživatelům, kteří se chtějí seznámit s interní architekturou Greenplum, vytvářet optimalizované datové modely a používat vysoký výkon SQL ve distribuovaných prostředích.

Na konci tohoto školení budou účastníci schopni:

• Pochopit architekturu Greenplum bez sdíleného stavu a model paralelismu.
• Navrhovat distribuované struktury tabulek a oddíly optimalizované pro výkon dotazů.
• Používat strategie indexace, formáty úložišť a techniky fyzického návrhu.
• Interpretovat plány EXPLAIN a optimalizovat dotazy pomocí nejlepších praktik.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praktické praxe.
• Praktické implementace v živém laboratorním prostředí.

Možnosti přizpůsobení kurzu

• Pro požadavek na přizpůsobené školení tohoto kurzu, prosím nás kontaktujte pro uspořádání.

Greenplum je open-source datová platforma s masivně paralelní architekturou založená na PostgreSQL, navržená pro pokročilé analýzy a velkém měřítku data warehousing.

Toto instruktorem vedené živé školení (online nebo na místě) je zaměřeno na středně pokročilé administrátory, kteří si přejí efektivně instalovat, konfigurovat a spravovat Greenplum prostředí, včetně správy systémových aktualizací a knihoven.

Na konci tohoto školení budou účastníci schopni:

• Instalovat a konfigurovat produkčně připravený Greenplum cluster.
• Spravovat systémové aktualizace a bezpečně aplikovat opravy.
• Řídit správu knihoven Greenplum pro analýzy a rozšíření.
• Diagnostikovat a monitorovat systémy Greenplum.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Praktické použití Greenplum v kontrolovaném laboratorním prostředí.
• Cvičení zaměřená na nastavení clusteru, aktualizační pracovní postupy a systémové rozšíření.

Možnosti přizpůsobení kurzu

• Pokud si přejete přizpůsobené školení pro tento kurz na základě vašeho prostředí nebo datové platformy, kontaktujte nás pro domluvu.

Tento instruktorem vedený, živý kurz v České republice (online nebo na místě) je zaměřen na pokročilé dataové odborníky, kteří chtějí optimalizovat pracovní postupy zpracování dat, zajistit integrity dat a implementovat robustní řešení pro data lakes, která mohou vypořádat s komplexností moderních aplikací na velkých datech.

Na konci tohoto kurzu budou účastníci schopni:

• Získat hluboké pochopení architektury Icebergu, včetně správy metadat a uspořádání souborů.
• Nakonfigurovat Iceberg pro optimální výkon ve různých prostředích a integrovat ho s více datovými procesními enginami.
• Spravovat velké tabulky Iceberg, provádět komplexní změny schémat a zpracovávat evoluci oddílů.
• Ovládat techniky pro optimalizaci výkonu dotazů a efektivitu čtení dat pro velké soubory dat.
• Implementovat mechanismy k zajištění konzistence dat, správě transakčních záruk a řešení selhání v distribuovaných prostředích.

Toto vedené školení na živou v České republice (online nebo na místě) je určeno začínajícím datovým profesionálům, kteří se chtějí naučit efektivně využívat Apache Iceberg pro správu velkých datových souborů, zajištění integrity dat a optimalizaci pracovních postupů při zpracování dat.

Na konci tohoto školení budou účastníci schopni:

• Důkladně pochopit architekturu, funkce a výhody Apache Iceberg.
• Seznámit se s formáty tabulek, rozdělováním, evolucí schémat a funkcemi časového cestování.
• Nainstalovat a nakonfigurovat Apache Iceberg v různých prostředích.
• Vytvářet, spravovat a manipulovat s tabulkami Iceberg.
• Porozumět procesu migrování dat z jiných formátů tabulek do Iceberg.

Toto instruktorem vedené, živé školení v České republice (online nebo na místě) je určeno středně pokročilým IT profesionálům, kteří chtějí rozšířit své dovednosti v oblasti datové architektury, řízení dat, cloud computingu a technologií big data, aby mohli efektivně spravovat a analyzovat velké soubory dat pro migraci dat ve svých organizacích.

Na konci tohoto školení budou účastníci schopni:

• Porozumět základním pojmům a komponentám různých datových architektur.
• Získat podrobné porozumění principů řízení dat a jejich důležitosti v regulačních prostředích.
• Implementovat a spravovat rámce pro řízení dat, jako je Dama a Togaf.
• Využít cloudové platformy pro efektivní ukládání, zpracování a správu dat.

Toto instruktorem vedené živé školení v České republice (online nebo na místě) je určeno data inženýrům střední úrovně, kteří se chtějí naučit, jak používat Azure Data Lake Storage Gen2 pro efektivní analytické řešení.

Na konci tohoto školení budou účastníci schopni:

• Porozumět architektuře a klíčovým funkcím Azure Data Lake Storage Gen2.
• Optimalizovat úložiště dat a přístup k nim s ohledem na náklady a výkon.
• Integrovat Azure Data Lake Storage Gen2 s jinými službami Azure pro analýzu a zpracování dat.
• Vytvářet řešení pomocí rozhraní API Azure Data Lake Storage Gen2.
• Řešit běžné problémy a optimalizovat strategie úložiště.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí používat a integrovat Spark, Hadoop a Python ke zpracování, analýze a transformaci velkých a komplexních souborů dat.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné prostředí pro zahájení zpracování velkých dat pomocí Spark, Hadoop a Python.
• Pochopte funkce, základní komponenty a architekturu Spark a Hadoop.
• Naučte se, jak integrovat Spark, Hadoop a Python pro zpracování velkých dat.
• Prozkoumejte nástroje v ekosystému Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka a Flume).
• Vytvářejte systémy doporučení pro společné filtrování podobné jako Netflix, YouTube, Amazon, Spotify a Google.
• Použijte Apache Mahout ke škálování algoritmů strojového učení.

Big Data a pokročilá analytika je aplikace sofistikovaných technik a nástrojů na analýzu velkých, složitých datových sad pro jednotlivelné příznaky a strategickou rozhodování.

Tato instruktážní živá školení (online nebo na místě) je zaměřeno na pokročilé data profesionály, kteří chtějí využít hrot analytických metod a technologií velkých dat pro prediktivní, prescriptivní a reálně časovou analýzu.

Do konce tohoto školení budou účastníci moci:

• Návrh a implementace výpočetních potrubí pro strukturovaná a nestrukturovaná data na velké měřítko.
• Aplikovat pokročilé techniky strojového učení a hlubokého učení k obrovským datovým sadám.
• Využít distribuovaných výpočetních rámci pro reálně časovou analýzu a streamování dat.
• Integrace velkých datech analytiky do systémů podnikové inteligence a rozhodovacích procesů.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Množství cvičení a praxe.
• Ruční implementace v prostředí živé laboratoře.

Vlastní možnosti kurzu

• Pro požadavek na přizpůsobené školení tohoto kurzu, kontaktujte nás pro uspořádání.

Audience

• Datoví vědci se snažící ovládnout zpracování dat velké měřítko a prediktivní analýzy.
• Seniorní analytičtí hledající návrh a implementace pokročilých analytických pracovních postupů.
• Výzkumné a vývojové odborníci zaměření na inovativní datově podložené řešení.

Úvod do Big Data ekosystémů

• Přehled velkých datech technologií a architektur.
• Hromadné zpracování vs. reálně časové zpracování.
• Strategie úložiště dat pro škálovatelnost.

Pokročilé zpracování dat pomocí Apache Spark

• Optimalizace Spark prací pro výkon.
• Pokročilé transformace a akce.
• Práce s strukturovanou streamováním.

Machine Learning na škále

• Distribuované techniky tréninku modelů.
• Tuning hyperparametrů v obrovských datových sadách.
• Implementace modelů ve velkých datech prostředích.

Deep Learning pro Big Data

• Integrace TensorFlow a PyTorch s Spark.
• Distribuované trénovací potrubí hlubokého učení.
• Použití případů pro analýzu obrázků, textů a časových řad.

Reálně časová analýza a streamování dat

• Apache Kafka pro streamování dat nahrávání.
• Zpracování strøamů frameworky.
• Sledování a výstrahy ve systémech reálně časové.

Data Governance, bezpečnost a etika

• Údaje soukromí a požadavky na dodržování předpisů.
• Kontrola Access a šifrování ve velkých datech systémy.
• Ethické rozvahy v pokročilých analýze velkém měřítkem.

Integrace Big Data s Business Intelligence

• Vizuální reprezentace dat a panele pro velké data.
• Připojení potrubí velkých datech ke nástrojům BI.
• Provádění podnikových výsledků pomocí pokročilých analytických metod.

Souhrn a další kroky

Toto vedené školení, prováděné živě v České republice (online nebo na místě), je určeno středně pokročilým IT profesionálům, kteří si přejí získat komplexní porozumění IBM DataStage ze správčího i vývojářského pohledu. Toto školení jim umožní efektivně řídit a používat toto nástroj ve svých pracovištích.

Na konci tohoto školení budou účastníci schopni:

• Porozumět základním principům DataStage.
• Naučit se efektivně instalovat, konfigurovat a spravovat prostředí DataStage.
• Připojovat se k různým zdrojům dat a extrahovat data efektivně ze systémů, databází, plochých souborů a externích zdrojů.
• Implementovat efektivní techniky načítání dat.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na začátečníky až středně pokročilé správce systému, kteří chtějí nasazovat, udržovat a optimalizovat clustery Spark.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Spark v různých prostředích.
• Spravujte prostředky clusteru a monitorujte aplikace Spark.
• Optimalizujte výkon clusterů Spark.
• Implementujte bezpečnostní opatření a zajistěte vysokou dostupnost.
• Ladění a odstraňování běžných problémů se Sparkem.

Účastníci, kteří absolvují toto živé školení vedené instruktorem v České republice, získají praktické znalosti z reálného světa Big Data a souvisejících technologií, metodologií a nástrojů.

Účastníci budou mít příležitost uplatnit tyto znalosti v praxi prostřednictvím praktických cvičení. Skupinová interakce a zpětná vazba od instruktora tvoří důležitou součást třídy.

Kurz začíná úvodem do základních pojmů Big Data, poté pokračuje do programovacích jazyků a metodologií používaných k provádění analýzy dat. Nakonec probereme nástroje a infrastrukturu, které umožňují ukládání velkých dat, distribuované zpracování a Scalaschopnost.

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí, jak používat Python a Spark společně k analýze velkých dat při práci na praktických cvičeních.

Na konci tohoto školení budou účastníci schopni:

• Naučte se používat Spark s Python k analýze Big Data.
• Pracujte na cvičeních, která napodobují případy ze skutečného světa.
• Použijte různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Publikum:

Kurz je určen pro IT odborníky hledající řešení pro uchovávání a zpracování velkých datových souborů v prostředí distribuovaného systému.

Gopožadavky:

Profilovaná znalost správy clusterů Hadoop.

Pokrok v technologiích a rostoucí množství informací mění způsob, jakým se podniká v mnoha průmyslových odvětvích, včetně státní správy. Gorychlost generování dat a digitální archivace roste díky rychlému růstu mobilních zařízení a aplikací, chytrých senzorů a zařízení, řešení cloud computingu a portálů pro občany. S tím, jak se digitální informace rozšiřují a stávají se složitějšími, je také složitější správa informací, jejich zpracování, ukládání, zabezpečení a dispozice. Nové nástroje pro zachycování, vyhledávání, zjišťování a analýzu pomáhají organizacím získat přehled z jejich nestrukturovaných dat. Vládní trh se nachází v bodě zlomu a uvědomuje si, že informace jsou strategickým aktivem a vláda potřebuje chránit, využívat a analyzovat strukturované i nestrukturované informace, aby lépe sloužily a plnily požadavky mise. Jak se vládní lídři snaží vyvíjet organizace založené na datech, aby úspěšně splnily poslání, pokládají základy pro korelaci závislostí mezi událostmi, lidmi, procesy a informacemi.

Vysoce hodnotná vládní řešení budou vytvořena ze směsi těch nejpřevratnějších technologií:

Mobilní zařízení a aplikace Cloudové služby Technologie sociálního podnikání a sítě Big Data a analytika

IDC předpovídá, že do roku 2020 dosáhne IT průmysl 5 bilionů dolarů, což je přibližně o 1,7 bilionu dolarů více než dnes, a že 80 % růstu tohoto odvětví bude taženo těmito technologiemi 3. platformy. Z dlouhodobého hlediska budou tyto technologie klíčovými nástroji pro řešení složitosti rostoucích digitálních informací. Big Data je jedním z inteligentních průmyslových řešení a umožňuje vládě činit lepší rozhodnutí tím, že přijme opatření na základě vzorců odhalených analýzou velkého objemu dat – souvisejících i nesouvisejících, strukturovaných i nestrukturovaných.

Dosažení těchto výkonů však vyžaduje mnohem více než pouhé shromažďování obrovského množství dat. „Vytvoření smyslu těchto objemů vyžaduje špičkové nástroje a technologie, které dokážou analyzovat a extrahovat užitečné znalosti z rozsáhlých a různorodých toků informací,“ Tom Kalil a Fen Zhao z Úřadu pro vědeckou a technologickou politiku Bílého domu napsal v příspěvku na blogu OSTP.

Bílý dům učinil krok směrem k tomu, aby pomohl agenturám najít tyto technologie, když v roce 2012 založil National Big Data Research and Development Initiative. Tato iniciativa zahrnovala více než 200 milionů dolarů, aby bylo možné co nejlépe využít exploze Big Data a nástroje potřebné k analyzovat to.

Výzvy, které Big Data představuje, jsou téměř stejně skličující, jako povzbuzující je jeho slib. Jednou z těchto výzev je efektivní ukládání dat. Jako vždy jsou rozpočty napjaté, takže agentury musí minimalizovat cenu úložiště za jeden megabajt a udržovat data v rámci snadného přístupu, aby je uživatelé mohli získat, kdy je chtějí a jak je potřebují. Zálohování velkého množství dat zvyšuje náročnost.

Efektivní analýza dat je další velkou výzvou. Mnoho agentur používá komerční nástroje, které jim umožňují probírat se horami dat a odhalovat trendy, které jim mohou pomoci fungovat efektivněji. (Nedávná studie společnosti MeriTalk zjistila, že federální IT manažeři si myslí, že Big Data by mohlo agenturám pomoci ušetřit více než 500 miliard dolarů a zároveň splnit cíle mise.).

Vlastní nástroje Big Data také umožňují agenturám řešit potřebu analyzovat jejich data. Například skupina Computational Data Analytics Group z Oak Ridge National Laboratory zpřístupnila svůj systém pro analýzu dat Piranha dalším agenturám. Systém pomohl lékařským výzkumníkům najít odkaz, který může lékaře upozornit na aneuryzmata aorty dříve, než zaútočí. Používá se také pro všednější úkoly, jako je prohledávání životopisů ke spojení uchazečů o zaměstnání s náborovými manažery.

Den 1 – poskytuje přehled základních Big Data tematických oblastí na vysoké úrovni. Modul je rozdělen do řady sekcí, z nichž každá je doprovázena praktickým cvičením.

Den 2 – zkoumá řadu témat, která se týkají analytických postupů a nástrojů pro Big Data prostředí. Nezabývá se podrobnostmi implementace nebo programování, ale místo toho udržuje pokrytí na koncepční úrovni a zaměřuje se na témata, která účastníkům umožňují rozvinout komplexní porozumění společným analytickým funkcím a funkcím nabízeným řešeními Big Data.

Den 3 – poskytuje přehled základních a zásadních tematických oblastí souvisejících s architekturou platformy řešení Big Data. Zahrnuje Big Data mechanismy potřebné pro vývoj platformy řešení Big Data a architektonické možnosti pro sestavení platformy pro zpracování dat. Jsou také uvedeny běžné scénáře, které poskytují základní pochopení toho, jak se platforma řešení Big Data obecně používá.

Den 4 – navazuje na den 3 zkoumáním pokročilých témat souvisejících s architekturou platformy řešení Big Data. Zejména jsou představeny a diskutovány různé architektonické vrstvy, které tvoří platformu řešení Big Data, včetně zdrojů dat, vstupu dat, ukládání dat, zpracování dat a zabezpečení.

Den 5 – zahrnuje řadu cvičení a problémů navržených tak, aby otestovaly schopnost delegátů aplikovat znalosti z probraných témat 3. a 4. den.

Analýza velkých dat zahrnuje proces zkoumání velkého množství různých datových sad s cílem odhalit korelace, skryté vzorce a další užitečné poznatky.

Zdravotnický průmysl má obrovské množství komplexních heterogenních lékařských a klinických dat. Použití analýzy velkých dat na zdravotní data představuje obrovský potenciál při získávání poznatků pro zlepšení poskytování zdravotní péče. Obrovské množství těchto datových souborů však představuje velké výzvy v analýzách a praktických aplikacích v klinickém prostředí.

V tomto živém školení (na dálku) vedeném instruktorem se účastníci naučí, jak provádět analýzu velkých dat ve zdraví, když projdou řadou praktických cvičení v laboratoři.

Na konci tohoto školení budou účastníci schopni:

Nainstalujte a nakonfigurujte nástroje pro analýzu velkých objemů dat, jako je Hadoop MapReduce a Spark Pochopte vlastnosti lékařských dat Použití technik velkých dat pro práci s lékařskými daty Studujte systémy a algoritmy velkých dat v kontextu zdravotnických aplikací

Publikum

Vývojáři Data Scientists

Formát kurzu

Část přednáška, část diskuse, cvičení a těžké praktické cvičení.

Poznámka

Chcete-li požádat o školení na míru pro tento kurz, kontaktujte nás a domluvíme se.

V tomto instruktorem vedeném živém školení v České republice se účastníci naučí, jakým způsobem přistupovat k technologiím Big Data, hodnotit jejich dopad na stávající procesy a politiky a implementovat tyto technologie za účelem identifikace trestné činnosti a předcházení trestné činnosti. Budou prozkoumány případové studie organizací činných v trestním řízení z celého světa, abychom získali přehled o jejich přístupech, výzvách a výsledcích.

Na konci tohoto školení budou účastníci schopni:

• Spojte Big Data technologii s tradičními procesy shromažďování dat a dejte dohromady příběh během vyšetřování.
• Implementujte průmyslová řešení pro ukládání a zpracování velkých dat pro analýzu dat.
• Připravit návrh na přijetí nejvhodnějších nástrojů a procesů umožňujících přístup k vyšetřování trestných činů založený na datech.

Big Data je termín, který označuje řešení určená pro ukládání a zpracování velkých souborů dat. Tato řešení Big Data, původně vyvinutá Google, se vyvinula a inspirovala další podobné projekty, z nichž mnohé jsou dostupné jako open-source. R je oblíbený programovací jazyk ve finančním průmyslu.

Když tradiční úložné technologie nezvládají množství dat, které potřebujete uložit, existují stovky alternativ. Tento kurz se snaží navést účastníky, jaké jsou alternativy pro ukládání a analýzu Big Data a jaké jsou jejich výhody a nevýhody.

Tento kurz je převážně zaměřen na diskusi a prezentaci řešení, i když na vyžádání jsou k dispozici praktická cvičení.

Kurz je součástí sady dovedností Data Scientist (doména: Data a technologie).

Toto školení ve třídě prozkoumá Big Data. Delegáti budou mít k dispozici počítačové příklady a cvičení případových studií s příslušnými nástroji pro velká data

Publikum

Pokud se snažíte dát smysl datům, ke kterým máte přístup, nebo chcete analyzovat nestrukturovaná data dostupná na internetu (jako Twitter, Linked in atd...), tento kurz je pro vás.

Většinou se zaměřuje na osoby s rozhodovací pravomocí a lidi, kteří si potřebují vybrat, jaká data stojí za shromažďování a která stojí za to analyzovat.

Není zaměřen na lidi, kteří konfigurují řešení, tito lidé však budou mít prospěch z celkového obrazu.

Režim doručení

V průběhu kurzu budou delegátům prezentovány pracovní příklady převážně open source technologií.

Po krátkých přednáškách bude následovat prezentace a jednoduchá cvičení účastníků

Obsah a použitý software

Veškerý používaný software je aktualizován při každém spuštění kurzu, takže kontrolujeme nejnovější možné verze.

Pokrývá proces od získávání, formátování, zpracování a analýzy dat, aby vysvětlil, jak automatizovat proces rozhodování pomocí strojového učení.

Velká data jsou datové soubory, které jsou tak objemné a složité, že tradiční aplikační software pro zpracování dat je pro ně nedostatečný. Velké problémy s daty zahrnují sběr dat, ukládání dat, analýzu dat, vyhledávání, sdílení, přenos, vizualizaci, dotazování, aktualizaci a ochranu osobních údajů.

Kurz předmět je určen pro IT specialisty, kteří hledají řešení pro ukládání a zpracování velkých datových sad v distribuovaném systému.

Cíl kurzu:

Získat znalosti týkající se Hadoop cluster administration

Apache Hadoop je nejpopulárnější rámec pro zpracování Big Data na shluky serverů. Tento třídenní kurz (volitelně čtyřdenní) se zaměřuje na obchodní výhody a případy použití Hadoop a jeho ekosystému, jak plánovat nasazení a růst clusteru, jak nainstalovat, udržovat, monitorovat, diagnostikovat problémy a optimalizovat Hadoop. Zúčastnění se také naučí zátěžový nahrávání dat do clusteru, budou obeznámeni s různými distribucemi Hadoop a budou mít praxi instalace a správy nástrojů ekosystému Hadoop. Kurz se uzavře diskuzí o zabezpečení clusteru pomocí Kerberos.

“… Materiál byl velmi dobře připraven a zahrnoval úplnou krytí. Laboratoř byla velmi užitečná a dobře organizovaná”
— Andrew Nguyen, hlavní integrační DW inženýr, Microsoft Online Advertising

Audience

Hadoop administrátory

Formát

Přednášky a praktické laboratoře, přibližný poměr 60% přednášek, 40% laboratoří.

Apache Hadoop je nejpopulárnější rámec pro zpracování Big Data na clusteru serverů. Tento kurz se naučí vývojáře různým komponentám (HDFS, MapReduce, Pig, Hive a HBase) Hadoop ekosystému.

Apache Hadoop je jedním z nej populárnějších rámci pro zpracování Big Data na clusteru serverů. Tento kurz se zaměřuje na správu dat v HDFS, pokročilý Pig, Hive, a HBase.  Tyto pokročilé programovací techniky budou užitečné pro zkušené Hadoop vývojáře.

Cílová skupina: vývojáři

Doba trvání: troje dny

Formát: přednášky (50%) a praktické laboratorní cvičení (50%).

Cílová skupina:

Tento kurz je určen k tomu, aby demystifikoval technologie velkých dat a Hadoopu a ukázal, že jsou porozumitelné.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na systémové administrátory, kteří se chtějí naučit, jak nastavit, nasadit a spravovat Hadoop clustery v rámci své organizace.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Hadoop.
• Pochopte čtyři hlavní součásti ekoystému Hadoop: HDFS, MapReduce, YARN a Hadoop Common.
• Použijte Hadoop Distributed File System (HDFS) ke škálování clusteru na stovky nebo tisíce uzlů.
• Nastavte HDFS tak, aby fungoval jako úložný modul pro místní nasazení Spark.
• Nastavte Spark pro přístup k alternativním úložným řešením, jako jsou databázové systémy Amazon S3 a NoSQL, jako jsou Redis, Elasticsearch, Couchbase, Aerospike atd.
• Provádějte administrativní úkoly, jako je poskytování, správa, monitorování a zabezpečení clusteru Apache Hadoop.

Tento kurz představuje HBase – obchod č.SQL na vrcholu Hadoop. Kurz je určen pro vývojáře, kteří budou používat HBase k vývoji aplikací, a administrátory, kteří budou spravovat clustery HBase.

Provedeme vývojáře architekturou HBase a datovým modelováním a vývojem aplikací na HBase. Bude také diskutovat o používání MapReduce s HBase a některých tématech správy souvisejících s optimalizací výkonu. Kurz je velmi praktický se spoustou laboratorních cvičení.

Doba trvání: 3 dny

Publikum: Vývojáři a správci

V tomto školení vedeném instruktorem, které se koná na místě nebo vzdáleně, zúčastníci naučí nastavovat a integrovat různé streamovací frameworky s existujícími systémy pro úložiště velkých dat a souvisejícími software a mikroslužbami.

Koncem tohoto školení budou zúčastníci schopni:

• Nainstalovat a nakonfigurovat různé streamovací frameworky, jako je Spark Streaming a Kafka Streaming.
• Porozumět a vybrat nejvhodnější framework pro daný úkol.
• Zpracovávat data v reálném čase, současně a řádek po řádku.
• Integrovat streamovací řešení s existujícími databázemi, datovými skladovami, datovými jezery atd.
• Integrovat nejvhodnější streamovací knihovnu s podnikovými aplikacemi a mikroslužbami.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na technické osoby, které se chtějí naučit implementovat strategii strojového učení a zároveň maximalizovat využití velkých dat.

Na konci tohoto školení účastníci:

• Pochopte vývoj a trendy strojového učení.
• Zjistěte, jak se strojové učení používá v různých odvětvích.
• Seznamte se s nástroji, dovednostmi a službami dostupnými pro implementaci strojového učení v rámci organizace.
• Pochopte, jak lze strojové učení využít ke zlepšení dolování a analýzy dat.
• Zjistěte, co je to datový střední backend a jak jej používají podniky.
• Pochopte, jakou roli hrají velká data a inteligentní aplikace napříč odvětvími.

V tomto živém školení vedeném instruktorem v České republice (na místě nebo na dálku) se účastníci naučí, jak nasadit a spravovat Apache NiFi v živém laboratorním prostředí.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apachi NiFi.
• Zdroj, transformace a správa dat z nesourodých, distribuovaných zdrojů dat, včetně databází a velkých datových jezer.
• Automatizujte datové toky.
• Povolit analýzu streamování.
• Aplikujte různé přístupy ke zpracování dat.
• Transformujte Big Data do obchodních postřehů.

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí základy programování založeného na toku při vývoji řady demo rozšíření, komponent a procesorů pomocí Apache NiFi.

Na konci tohoto školení budou účastníci schopni:

• Pochopte architekturu a koncepty toku dat NiFi.
• Vyvíjejte rozšíření pomocí NiFi a API třetích stran.
• Vlastní vývoj vlastního procesoru Apache Nifi.
• Ingestujte a zpracujte data v reálném čase z různorodých a neobvyklých formátů souborů a zdrojů dat.

Tato vedená školení, provedené živě v České republice (online nebo na místě), je zaměřena na datové analytiky, kteří chtějí použít SMACK stack pro budování platform zpracování dat pro řešení s velkými daty.

Na konci tohoto školení budou účastníci schopni:

• Implementovat architekturu data pipeline pro zpracování velkých dat.
• Vytvořit clusterovou infrastrukturu pomocí Apache Mesos a Dockeru.
• Analyzovat data s Sparkem a Scalou.
• Spravovat nestrukturovaná data pomocí Apache Cassandra.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na inženýry, kteří chtějí nastavit a nasadit Apache Spark systém pro zpracování velmi velkého množství dat.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Spark.
• Rychle zpracujte a analyzujte velmi velké soubory dat.
• Pochopte rozdíl mezi Apache Spark a Hadoop MapReduce a kdy použít který.
• Integrujte Apache Spark s dalšími nástroji strojového učení.

Křivka učení Apache Spark se na začátku pomalu zvyšuje, potřebuje hodně úsilí, aby se první vrátil. Tento kurz si klade za cíl proskočit první náročnou částí. Po absolvování tohoto kurzu účastníci porozumí základům Apache Spark, jasně odliší RDD od DataFrame, naučí se Python a Scala API, porozumí exekutorům a úkolům atd. Tento kurz také důsledně dodržuje doporučené postupy se zaměřuje na cloudové nasazení, Databricks a AWS. Studenti také porozumí rozdílům mezi AWS EMR a AWS Glue, jednou z nejnovějších služeb Spark společnosti AWS.

PUBLIKUM:

Data Engineer, DevOps, Data Scientist

OBJEKTIVNÍ:

Tento kurz představí Apache Spark. Studenti se naučí, jak Spark zapadá do ekosystému velkých dat a jak Spark používat pro analýzu dat. Kurz pokrývá Spark Shell pro interaktivní analýzu dat, Spark internals, Spark API, Spark SQL, Spark streaming a strojové učení a graphX.

DIVÁCI:

Vývojáři / datoví analytici

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové vědce a vývojáře, kteří chtějí používat Spark NLP, postavený na Apache Spark, k vývoji, implementaci a škálování zpracování textu v přirozeném jazyce. modely a potrubí.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné vývojové prostředí, abyste mohli začít budovat kanály NLP pomocí Spark NLP.
• Pochopte funkce, architekturu a výhody používání Spark NLP.
• K implementaci zpracování textu použijte předem připravené modely dostupné v Spark NLP.
• Naučte se stavět, trénovat a měnit Spark NLP modely pro produkční projekty.
• Aplikujte klasifikaci, odvození a analýzu sentimentu na případy použití v reálném světě (klinická data, statistiky chování zákazníků atd.).

Spark SQL je modul Apache Spark pro práci se strukturovanými a nestrukturovanými daty. Spark SQL poskytuje informace o struktuře dat a také o prováděném výpočtu. Tyto informace lze použít k provádění optimalizací. Dvě běžné použití pro Spark SQL jsou: - k provádění SQL dotazů. - ke čtení dat z existující instalace Hive.

V tomto živém školení vedeném instruktorem (na místě nebo na dálku) se účastníci naučí, jak analyzovat různé typy souborů dat pomocí Spark SQL.

Na konci tohoto školení budou účastníci schopni:

Nainstalujte a nakonfigurujte Spark SQL. Proveďte analýzu dat pomocí Spark SQL. Dotaz na datové sady v různých formátech. Vizualizujte data a výsledky dotazů.

Formát kurzu

Interaktivní přednáška a diskuze. Spousta cvičení a praxe. Praktická implementace v prostředí živé laboratoře.

Možnosti přizpůsobení kurzu

Chcete-li požádat o školení na míru pro tento kurz, kontaktujte nás a domluvíme se.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na technické osoby, které chtějí nasadit Talend Open Studio pro velká data ke zjednodušení procesu čtení a křupání prostřednictvím velkých dat.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Talend Open Studio for Big Data.
• Spojte se se systémy Big Data, jako jsou Cloudera, HortonWorks, MapR, Amazon EMR a Apache.
• Pochopte a nastavte velké datové komponenty a konektory Open Studio.
• Nakonfigurujte parametry pro automatické generování kódu MapReduce.
• Ke spouštění úloh Hadoop použijte rozhraní přetahování a přetahování Open Studio.
• Prototyp velkých datových kanálů.
• Automatizujte projekty integrace velkých dat.