Big Data Consulting Počítačový Kurz

Tento instruktážní živý kurz (na místě nebo online) je určen pro středně pokročilé datové vědce a inženýry, kteří chtějí použít Google Colab a Apache Spark pro zpracování velkých dat a analytiku.

Po ukončení tohoto kurzu budou účastníci schopni:

• Nastavit prostředí pro velká data pomocí Google Colab a Sparku.
• Efektivně zpracovat a analyzovat výrazné datové sady pomocí Apache Spark.
• Visualizovat velká data ve spolupracovném prostředí.
• Integrace Apache Spark se cloudovými nástroji.

Apache Hadoop je nejpopulárnější rámec pro zpracování Big Data na shluky serverů. Tento třídenní kurz (volitelně čtyřdenní) se zaměřuje na obchodní výhody a případy použití Hadoop a jeho ekosystému, jak plánovat nasazení a růst clusteru, jak nainstalovat, udržovat, monitorovat, diagnostikovat problémy a optimalizovat Hadoop. Zúčastnění se také naučí zátěžový nahrávání dat do clusteru, budou obeznámeni s různými distribucemi Hadoop a budou mít praxi instalace a správy nástrojů ekosystému Hadoop. Kurz se uzavře diskuzí o zabezpečení clusteru pomocí Kerberos.

“… Materiál byl velmi dobře připraven a zahrnoval úplnou krytí. Laboratoř byla velmi užitečná a dobře organizovaná”
— Andrew Nguyen, hlavní integrační DW inženýr, Microsoft Online Advertising

Audience

Hadoop administrátory

Formát

Přednášky a praktické laboratoře, přibližný poměr 60% přednášek, 40% laboratoří.

Apache NiFi je open-source platforma pro tokovou integraci dat a zpracování událostí. Umožňuje automatizované, v reálném čase probíhající směrování dat, transformaci a mediatorku systémů mezi různými platformami s webovým uživatelským rozhraním a detailní kontrolou.

Tato školení vedená instruktorem (na místě nebo zdálky) je určená středně pokročilým správcům a inženýrům, kteří chtějí nasadit, spravovat, zabezpečit a optimalizovat NiFi toky dat v produkčních prostředích.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat, nakonfigurovat a udržovat Apache NiFi clustery.
• Naprojektovat a spravovat toky dat z různých zdrojů a cílů.
• Implementovat automatizaci toku, směrování a transformační logiku.
• Optimalizovat výkon, monitorovat operace a řešit problémy.

Formát kurzu

• Interaktivní přednáška s diskusí o reálných architekturách.
• Praktické cvičení: vytváření, nasazování a správa toků.
• Scénáře založená cvičení v prostředí live-labu.

Možnosti přizpůsobení kurzu

• Pro požadavek na přizpůsobené školení se prosím obrátěte k nám, abychom to zařídili.

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí základy programování založeného na toku při vývoji řady demo rozšíření, komponent a procesorů pomocí Apache NiFi.

Na konci tohoto školení budou účastníci schopni:

• Pochopte architekturu a koncepty toku dat NiFi.
• Vyvíjejte rozšíření pomocí NiFi a API třetích stran.
• Vlastní vývoj vlastního procesoru Apache Nifi.
• Ingestujte a zpracujte data v reálném čase z různorodých a neobvyklých formátů souborů a zdrojů dat.

Tento kurz poskytuje praktický úvod do tvorby škálovatelných pracovních postupů zpracování dat a strojového učení pomocí PySparku. Účastníci se naučí, jak Apache Spark funguje v rámci moderních ekosystémů pro práci s velkými daty, a jak efektivně zpracovávat rozsáhlé datové sady pomocí principů distribuovaného výpočtu.

Tato vedená školení na místě (online nebo na místě) je určená inženýrům, kteří chtějí nastavit a nasadit systém Apache Spark pro zpracování velmi velkých objemů dat.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Spark.
• Rychle zpracovávat a analyzovat velmi velké soubory dat.
• Pochopit rozdíly mezi Apache Sparkem a Hadoop MapReduce a kdy se který používá.
• Integrovat Apache Spark s jinými nástroji pro strojové učení.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na začátečníky až středně pokročilé správce systému, kteří chtějí nasazovat, udržovat a optimalizovat clustery Spark.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Spark v různých prostředích.
• Spravujte prostředky clusteru a monitorujte aplikace Spark.
• Optimalizujte výkon clusterů Spark.
• Implementujte bezpečnostní opatření a zajistěte vysokou dostupnost.
• Ladění a odstraňování běžných problémů se Sparkem.

Křivka učení Apache Spark se na začátku pomalu zvyšuje, potřebuje hodně úsilí, aby se první vrátil. Tento kurz si klade za cíl proskočit první náročnou částí. Po absolvování tohoto kurzu účastníci porozumí základům Apache Spark, jasně odliší RDD od DataFrame, naučí se Python a Scala API, porozumí exekutorům a úkolům atd. Tento kurz také důsledně dodržuje doporučené postupy se zaměřuje na cloudové nasazení, Databricks a AWS. Studenti také porozumí rozdílům mezi AWS EMR a AWS Glue, jednou z nejnovějších služeb Spark společnosti AWS.

PUBLIKUM:

Data Engineer, DevOps, Data Scientist

CÍL:

Tento kurz představí Apache Spark. Studenti se dozví, jak Spark zapadá do ekosystému Big Data a jak ho použít k analýze dat. Kurz pokrývá interaktivní analýzu dat pomocí Spark shellu, vnitřní funkce Sparku, Spark API, Spark SQL, Spark streaming a strojové učení a GraphX.

CÍLOVÁ SKUPINA :

Vývojáři / Analýzci dat

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové vědce a vývojáře, kteří chtějí používat Spark NLP, postavený na Apache Spark, k vývoji, implementaci a škálování zpracování textu v přirozeném jazyce. modely a potrubí.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné vývojové prostředí, abyste mohli začít budovat kanály NLP pomocí Spark NLP.
• Pochopte funkce, architekturu a výhody používání Spark NLP.
• K implementaci zpracování textu použijte předem připravené modely dostupné v Spark NLP.
• Naučte se stavět, trénovat a měnit Spark NLP modely pro produkční projekty.
• Aplikujte klasifikaci, odvození a analýzu sentimentu na případy použití v reálném světě (klinická data, statistiky chování zákazníků atd.).

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí, jak používat Python a Spark společně k analýze velkých dat při práci na praktických cvičeních.

Na konci tohoto školení budou účastníci schopni:

• Naučte se používat Spark s Python k analýze Big Data.
• Pracujte na cvičeních, která napodobují případy ze skutečného světa.
• Použijte různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí používat a integrovat Spark, Hadoop a Python ke zpracování, analýze a transformaci velkých a komplexních souborů dat.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné prostředí pro zahájení zpracování velkých dat pomocí Spark, Hadoop a Python.
• Pochopte funkce, základní komponenty a architekturu Spark a Hadoop.
• Naučte se, jak integrovat Spark, Hadoop a Python pro zpracování velkých dat.
• Prozkoumejte nástroje v ekosystému Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka a Flume).
• Vytvářejte systémy doporučení pro společné filtrování podobné jako Netflix, YouTube, Amazon, Spotify a Google.
• Použijte Apache Mahout ke škálování algoritmů strojového učení.

Spark SQL je modul Apache Sparku pro práci s strukturovanými a nestrukturovanými daty. Spark SQL poskytuje informace o struktuře dat a provedených výpočtech. Tato informace mohou být použity k optimalizaci. Dvě běžné použití Spark SQL jsou:
- provádění dotazů SQL.
- čtení dat z existující instalace Hive.

V tomto školení vedeném instruktorem (na místě nebo na dálku) se účastníci naučí analyzovat různé typy datových souborů pomocí Spark SQL.

Po ukončení tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Spark SQL.
• Provádět analýzu dat pomocí Spark SQL.
• Dotazovat se na data v různých formátech.
• Vizualizovat data a výsledky dotazů.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Záplava cvičení a praxe.
• Přímo v laboratoři implementovat v reálném čase.

Možnosti přizpůsobení kurzu

• Pokud chcete pořádat customizované školení pro tento kurz, kontaktujte nás a domluvte si to.

Stratio je datově orientovaná platforma, která integruje big data, umělou inteligenci (AI) a řízení do jednotného řešení. Její moduly Rocket a Intelligence umožňují rychlé prozkoumávání, transformaci a pokročilé analýzy dat v podnikových prostředích.

Tato instruktorem vedena živá školení (online nebo na místě) je určená pro středně pokročilé odborníky na data, kteří chtějí efektivně používat moduly Rocket a Intelligence v Stratio s PySpark, s důrazem na smyčkové struktury, uživatelsky definované funkce (UDFs) a pokročilou datovou logiku.

Na konci tohoto školení budou účastníci schopni:

• Navigovat a pracovat v platformě Stratio pomocí modulů Rocket a Intelligence.
• Používat PySpark ve kontextu ingesta, transformace a analýzy dat.
• Využívat smyčky a podmíněnou logiku k řízení pracovních postupů s daty a úloh předzpracování dat.
• Vytvářet a spravovat uživatelsky definované funkce (UDFs) pro opakovatelné operace s daty v PySpark.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praxe.
• Praktické implementace v živém laboratorním prostředí.

Možnosti přizpůsobení kurzu

• Pro požadavek na přizpůsobené školení tohoto kurzu, prosím nás kontaktujte pro domluvu.