Škálování Datových Trubnic s Spark NLP Počítačový Kurz

Tento instruktážní živý kurz (na místě nebo online) je určen pro středně pokročilé datové vědce a inženýry, kteří chtějí použít Google Colab a Apache Spark pro zpracování velkých dat a analytiku.

Po ukončení tohoto kurzu budou účastníci schopni:

• Nastavit prostředí pro velká data pomocí Google Colab a Sparku.
• Efektivně zpracovat a analyzovat výrazné datové sady pomocí Apache Spark.
• Visualizovat velká data ve spolupracovném prostředí.
• Integrace Apache Spark se cloudovými nástroji.

Analýza velkých dat se týká procesu zkoumání velkého množství různorodých datových sad s cílem odhalit korelace, skryté vzory a další užitečné zjištění.

Zdravotnictví disponuje obrovským množstvím komplexních heterogenních lékařských a klinických dat. Aplikace analýzy velkých dat na data v zdravotnictví nabízí ohromné potenciály pro odvození poznatků, které mohou přispět ke zlepšení poskytování zdravotních služeb. Nicméně rozsah těchto datových sad představuje výzvu v analýze a praktickém využití ve klinickém prostředí.

V tomto instruktorem vedeném, živé tréninku (vzdáleném) se účastníci naučí provádět analýzu velkých dat v zdravotnictví během série praktických cvičení.

Koncem tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat nástroje pro analýzu velkých dat, jako je Hadoop MapReduce a Spark
• Pochopit charakteristiku lékařských dat
• Aplikovat techniky velkých dat na zpracování lékařských dat
• Studovat systémy a algoritmy velkých dat v kontextu aplikací ve zdravotnictví

Cílová skupina

• Vývojáři
• Analitici dat

Formát kurzu

• Část přednášky, část diskuze, cvičení a intenzivní praktické procvičování.

Poznámka

• Pro požadavek na přizpůsobené školení pro tento kurz nás prosím kontaktujte s cílem sjednotit datum a čas.

Toto školení vedené instruktorem (online nebo na místě) je určeno správcům systémů, kteří chtějí naučit se nastavovat, nasazovat a spravovat Hadoop clustery ve své organizaci.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Hadoop.
• Pochopit čtyři hlavní komponenty v ekosystému Hadoop: HDFS, MapReduce, YARN a Hadoop Common.
• Použít Hadoop Distributed File System (HDFS) k škálování clusteru na stovky nebo tisíce uzlů.  
• Nastavit HDFS jako úložiště pro místní nasazení Spark.
• Nastavit Spark k připojení ke střídavým úložišťům, jako je Amazon S3 a NoSQL databázové systémy, např. Redis, Elasticsearch, Couchbase, Aerospike atd.
• Provádět správcovské úkoly, jako jsou zřizování, správa, monitorování a bezpečnost Apache Hadoop clusteru.

V tomto školení vedeném instruktorem, které se koná na místě nebo vzdáleně, zúčastníci naučí nastavovat a integrovat různé streamovací frameworky s existujícími systémy pro úložiště velkých dat a souvisejícími software a mikroslužbami.

Koncem tohoto školení budou zúčastníci schopni:

• Nainstalovat a nakonfigurovat různé streamovací frameworky, jako je Spark Streaming a Kafka Streaming.
• Porozumět a vybrat nejvhodnější framework pro daný úkol.
• Zpracovávat data v reálném čase, současně a řádek po řádku.
• Integrovat streamovací řešení s existujícími databázemi, datovými skladovami, datovými jezery atd.
• Integrovat nejvhodnější streamovací knihovnu s podnikovými aplikacemi a mikroslužbami.

Tato vedená školení, provedené živě v České republice (online nebo na místě), je zaměřena na datové analytiky, kteří chtějí použít SMACK stack pro budování platform zpracování dat pro řešení s velkými daty.

Na konci tohoto školení budou účastníci schopni:

• Implementovat architekturu data pipeline pro zpracování velkých dat.
• Vytvořit clusterovou infrastrukturu pomocí Apache Mesos a Dockeru.
• Analyzovat data s Sparkem a Scalou.
• Spravovat nestrukturovaná data pomocí Apache Cassandra.

Tato vedená školení na místě (online nebo na místě) je určená inženýrům, kteří chtějí nastavit a nasadit systém Apache Spark pro zpracování velmi velkých objemů dat.

Na konci tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Apache Spark.
• Rychle zpracovávat a analyzovat velmi velké soubory dat.
• Pochopit rozdíly mezi Apache Sparkem a Hadoop MapReduce a kdy se který používá.
• Integrovat Apache Spark s jinými nástroji pro strojové učení.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na začátečníky až středně pokročilé správce systému, kteří chtějí nasazovat, udržovat a optimalizovat clustery Spark.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apache Spark v různých prostředích.
• Spravujte prostředky clusteru a monitorujte aplikace Spark.
• Optimalizujte výkon clusterů Spark.
• Implementujte bezpečnostní opatření a zajistěte vysokou dostupnost.
• Ladění a odstraňování běžných problémů se Sparkem.

Křivka učení Apache Spark se na začátku pomalu zvyšuje, potřebuje hodně úsilí, aby se první vrátil. Tento kurz si klade za cíl proskočit první náročnou částí. Po absolvování tohoto kurzu účastníci porozumí základům Apache Spark, jasně odliší RDD od DataFrame, naučí se Python a Scala API, porozumí exekutorům a úkolům atd. Tento kurz také důsledně dodržuje doporučené postupy se zaměřuje na cloudové nasazení, Databricks a AWS. Studenti také porozumí rozdílům mezi AWS EMR a AWS Glue, jednou z nejnovějších služeb Spark společnosti AWS.

PUBLIKUM:

Data Engineer, DevOps, Data Scientist

CÍL:

Tento kurz představí Apache Spark. Studenti se dozví, jak Spark zapadá do ekosystému Big Data a jak ho použít k analýze dat. Kurz pokrývá interaktivní analýzu dat pomocí Spark shellu, vnitřní funkce Sparku, Spark API, Spark SQL, Spark streaming a strojové učení a GraphX.

CÍLOVÁ SKUPINA :

Vývojáři / Analýzci dat

V tomto živém školení pod vedením instruktora v České republice se účastníci naučí, jak používat Python a Spark společně k analýze velkých dat při práci na praktických cvičeních.

Na konci tohoto školení budou účastníci schopni:

• Naučte se používat Spark s Python k analýze Big Data.
• Pracujte na cvičeních, která napodobují případy ze skutečného světa.
• Použijte různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí používat a integrovat Spark, Hadoop a Python ke zpracování, analýze a transformaci velkých a komplexních souborů dat.

Na konci tohoto školení budou účastníci schopni:

• Nastavte potřebné prostředí pro zahájení zpracování velkých dat pomocí Spark, Hadoop a Python.
• Pochopte funkce, základní komponenty a architekturu Spark a Hadoop.
• Naučte se, jak integrovat Spark, Hadoop a Python pro zpracování velkých dat.
• Prozkoumejte nástroje v ekosystému Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka a Flume).
• Vytvářejte systémy doporučení pro společné filtrování podobné jako Netflix, YouTube, Amazon, Spotify a Google.
• Použijte Apache Mahout ke škálování algoritmů strojového učení.

Spark SQL je modul Apache Sparku pro práci s strukturovanými a nestrukturovanými daty. Spark SQL poskytuje informace o struktuře dat a provedených výpočtech. Tato informace mohou být použity k optimalizaci. Dvě běžné použití Spark SQL jsou:
- provádění dotazů SQL.
- čtení dat z existující instalace Hive.

V tomto školení vedeném instruktorem (na místě nebo na dálku) se účastníci naučí analyzovat různé typy datových souborů pomocí Spark SQL.

Po ukončení tohoto školení budou účastníci schopni:

• Nainstalovat a nakonfigurovat Spark SQL.
• Provádět analýzu dat pomocí Spark SQL.
• Dotazovat se na data v různých formátech.
• Vizualizovat data a výsledky dotazů.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Záplava cvičení a praxe.
• Přímo v laboratoři implementovat v reálném čase.

Možnosti přizpůsobení kurzu

• Pokud chcete pořádat customizované školení pro tento kurz, kontaktujte nás a domluvte si to.

Stratio je datová platforma, která integruje big data, AI a správu do jediného řešení. Moduly Rocket a Intelligence umožňují rychlou datovou procházkou, transformaci a pokročilý analytický výkon ve firemních prostředích.

Tato instruktor-provedená živá školení (online nebo na místě) je určeno středně pokročilým datovým profesionálům, kteří chtějí efektivně používat moduly Rocket a Intelligence v Stratio s PySpark, zaměřením na smyčkové struktury, uživatelsky definované funkce a pokročilou datovou logiku.

Po ukončení tohoto školení budou účastníci schopni:

• Navigovat a pracovat ve Stratio platformě s využitím modulů Rocket a Intelligence.
• Používat PySpark ve kontextu nahrávání dat, transformace a analýzy.
• Používat smyčky a podmíněnou logiku pro ovládání datových pracovních toků a úkolů inženýrství funkcí.
• Vytvářet a spravovat uživatelsky definované funkce (UDF) pro opakovatelné datové operace v PySpark.

Formát kurzu

• Interaktivní přednáška a diskuse.
• Mnoho cvičení a praxe.
• Praktické realizace v živém laboratorním prostředí.

Možnosti personalizace kurzu

• Pro požadavek na personalizované školení tohoto kurzu, kontaktujte nás pro uspořádání.