Python, Spark a Hadoop pro Velká Data Počítačový Kurz

Publikum:

Kurz je určen pro IT odborníky hledající řešení pro uchovávání a zpracování velkých datových souborů v prostředí distribuovaného systému.

Gopožadavky:

Profilovaná znalost správy clusterů Hadoop.

Tento instruktážní živý kurz (na místě nebo online) je určen pro středně pokročilé datové vědce a inženýry, kteří chtějí použít Google Colab a Apache Spark pro zpracování velkých dat a analytiku.

Po ukončení tohoto kurzu budou účastníci schopni:

• Nastavit prostředí pro velká data pomocí Google Colab a Sparku.
• Efektivně zpracovat a analyzovat výrazné datové sady pomocí Apache Spark.
• Visualizovat velká data ve spolupracovném prostředí.
• Integrace Apache Spark se cloudovými nástroji.

Analýza velkých dat se týká procesu zkoumání velkého množství různorodých datových sad s cílem odhalit korelace, skryté vzory a další užitečné zjištění.

Zdravotnictví disponuje obrovským množstvím komplexních heterogenních lékařských a klinických dat. Aplikace analýzy velkých dat na data v zdravotnictví nabízí ohromné potenciály pro odvození poznatků, které mohou přispět ke zlepšení poskytování zdravotních služeb. Nicméně rozsah těchto datových sad představuje výzvu v analýze a praktickém využití ve klinickém prostředí.

V tomto instruktorem vedeném, živé tréninku (vzdáleném) se účastníci naučí provádět analýzu velkých dat v zdravotnictví během série praktických cvičení.

Koncem tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat nástroje pro analýzu velkých dat, jako je Hadoop MapReduce a Spark
• Pochopit charakteristiku lékařských dat
• Aplikovat techniky velkých dat na zpracování lékařských dat
• Studovat systémy a algoritmy velkých dat v kontextu aplikací ve zdravotnictví

Cílová skupina

• Vývojáři
• Analitici dat

Formát kurzu

• Část přednášky, část diskuze, cvičení a intenzivní praktické procvičování.

Poznámka

• Pro požadavek na přizpůsobené školení pro tento kurz nás prosím kontaktujte s cílem sjednotit datum a čas.

Cílová skupina:

Tento kurz je určen k tomu, aby demystifikoval technologie velkých dat a Hadoopu a ukázal, že jsou porozumitelné.

Toto školení vedené instruktorem (online nebo na místě) je určeno správcům systémů, kteří chtějí naučit se nastavovat, nasazovat a spravovat Hadoop clustery ve své organizaci.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Hadoop.
• Pochopit čtyři hlavní komponenty v ekosystému Hadoop: HDFS, MapReduce, YARN a Hadoop Common.
• Použít Hadoop Distributed File System (HDFS) k škálování clusteru na stovky nebo tisíce uzlů.  
• Nastavit HDFS jako úložiště pro místní nasazení Spark.
• Nastavit Spark k připojení ke střídavým úložišťům, jako je Amazon S3 a NoSQL databázové systémy, např. Redis, Elasticsearch, Couchbase, Aerospike atd.
• Provádět správcovské úkoly, jako jsou zřizování, správa, monitorování a bezpečnost Apache Hadoop clusteru.

V tomto vedeném školení České republice (na místě nebo na dálku) se účastníci naučí, jak nastavit a integrovat různé frameworky pro streamové zpracování dat s existujícími systémy pro ukládání velkých objemů dat a souvisejícími software aplikacemi a mikroslužbami.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat různé frameworky pro streamové zpracování, jako jsou Spark Streaming a Kafka Streaming.
• Porozumět a vybrat nejvhodnější framework pro daný úkol.
• Zpracovávat data neustále, souběžně a záznam po záznamu.
• Integrovat řešení pro streamové zpracování dat s existujícími databázemi, data warehousy, data lakes atd.
• Integrace nejvhodnější knihovny pro streamové zpracování s podnikovými aplikacemi a mikroslužbami.

Tato vedená školení, provedené živě v České republice (online nebo na místě), je zaměřena na datové analytiky, kteří chtějí použít SMACK stack pro budování platform zpracování dat pro řešení s velkými daty.

Na konci tohoto školení budou účastníci schopni:

• Implementovat architekturu data pipeline pro zpracování velkých dat.
• Vytvořit clusterovou infrastrukturu pomocí Apache Mesos a Dockeru.
• Analyzovat data s Sparkem a Scalou.
• Spravovat nestrukturovaná data pomocí Apache Cassandra.

Tato vedená školení na místě (online nebo na místě) je určená inženýrům, kteří chtějí nastavit a nasadit systém Apache Spark pro zpracování velmi velkých objemů dat.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Spark.
• Rychle zpracovávat a analyzovat velmi velké soubory dat.
• Pochopit rozdíly mezi Apache Sparkem a Hadoop MapReduce a kdy se který používá.
• Integrovat Apache Spark s jinými nástroji pro strojové učení.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na začátečníky až středně pokročilé správce systému, kteří chtějí nasazovat, udržovat a optimalizovat clustery Spark.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Spark v různých prostředích.
• Spravujte prostředky clusteru a monitorujte aplikace Spark.
• Optimalizujte výkon clusterů Spark.
• Implementujte bezpečnostní opatření a zajistěte vysokou dostupnost.
• Ladění a odstraňování běžných problémů se Sparkem.

Křivka učení Apache Spark se na začátku pomalu zvyšuje, potřebuje hodně úsilí, aby se první vrátil. Tento kurz si klade za cíl proskočit první náročnou částí. Po absolvování tohoto kurzu účastníci porozumí základům Apache Spark, jasně odliší RDD od DataFrame, naučí se Python a Scala API, porozumí exekutorům a úkolům atd. Tento kurz také důsledně dodržuje doporučené postupy se zaměřuje na cloudové nasazení, Databricks a AWS. Studenti také porozumí rozdílům mezi AWS EMR a AWS Glue, jednou z nejnovějších služeb Spark společnosti AWS.

PUBLIKUM:

Data Engineer, DevOps, Data Scientist

CÍL:

Tento kurz představí Apache Spark. Studenti se dozví, jak Spark zapadá do ekosystému Big Data a jak ho použít k analýze dat. Kurz pokrývá interaktivní analýzu dat pomocí Spark shellu, vnitřní funkce Sparku, Spark API, Spark SQL, Spark streaming a strojové učení a GraphX.

CÍLOVÁ SKUPINA :

Vývojáři / Analýzci dat

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové vědce a vývojáře, kteří chtějí používat Spark NLP, postavený na Apache Spark, k vývoji, implementaci a škálování zpracování textu v přirozeném jazyce. modely a potrubí.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné vývojové prostředí, abyste mohli začít budovat kanály NLP pomocí Spark NLP.
• Pochopte funkce, architekturu a výhody používání Spark NLP.
• K implementaci zpracování textu použijte předem připravené modely dostupné v Spark NLP.
• Naučte se stavět, trénovat a měnit Spark NLP modely pro produkční projekty.
• Aplikujte klasifikaci, odvození a analýzu sentimentu na případy použití v reálném světě (klinická data, statistiky chování zákazníků atd.).

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí, jak používat Python a Spark společně k analýze velkých dat při práci na praktických cvičeních.

Na konci tohoto školení budou účastníci schopni:

• Naučte se používat Spark s Python k analýze Big Data.
• Pracujte na cvičeních, která napodobují případy ze skutečného světa.
• Použijte různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Spark SQL je modul Apache Sparku pro práci s strukturovanými a nestrukturovanými daty. Spark SQL poskytuje informace o struktuře dat a provedených výpočtech. Tato informace mohou být použity k optimalizaci. Dvě běžné použití Spark SQL jsou:
- provádění dotazů SQL.
- čtení dat z existující instalace Hive.

V tomto školení vedeném instruktorem (na místě nebo na dálku) se účastníci naučí analyzovat různé typy datových souborů pomocí Spark SQL.

Po ukončení tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Spark SQL.
• Provádět analýzu dat pomocí Spark SQL.
• Dotazovat se na data v různých formátech.
• Vizualizovat data a výsledky dotazů.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Záplava cvičení a praxe.
• Přímo v laboratoři implementovat v reálném čase.

Možnosti přizpůsobení kurzu

• Pokud chcete pořádat customizované školení pro tento kurz, kontaktujte nás a domluvte si to.

Stratio je datově orientovaná platforma, která integruje big data, umělou inteligenci (AI) a řízení do jednotného řešení. Její moduly Rocket a Intelligence umožňují rychlé prozkoumávání, transformaci a pokročilé analýzy dat v podnikových prostředích.

Tato instruktorem vedena živá školení (online nebo na místě) je určená pro středně pokročilé odborníky na data, kteří chtějí efektivně používat moduly Rocket a Intelligence v Stratio s PySpark, s důrazem na smyčkové struktury, uživatelsky definované funkce (UDFs) a pokročilou datovou logiku.

Na konci tohoto školení budou účastníci schopni:

• Navigovat a pracovat v platformě Stratio pomocí modulů Rocket a Intelligence.
• Používat PySpark ve kontextu ingesta, transformace a analýzy dat.
• Využívat smyčky a podmíněnou logiku k řízení pracovních postupů s daty a úloh předzpracování dat.
• Vytvářet a spravovat uživatelsky definované funkce (UDFs) pro opakovatelné operace s daty v PySpark.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praxe.
• Praktické implementace v živém laboratorním prostředí.

Možnosti přizpůsobení kurzu

• Pro požadavek na přizpůsobené školení tohoto kurzu, prosím nás kontaktujte pro domluvu.