Sqoop and Flume for Big Data Počítačový Kurz

V tomto živém školení vedeném instruktorem v České republice se účastníci naučí, jak vytvořit Data Vault.

Na konci tohoto školení budou účastníci schopni:

• Pochopte architekturu a koncepty designu za Data Vault 2.0 a jeho interakci s Big Data, č.SQL a AI.
• Použijte techniky ukládání dat k umožnění auditování, trasování a kontroly historických dat v datovém skladu.
• Vyvinout konzistentní a opakovatelný proces ETL (Extract, Transform, Load).
• Vybudujte a nasaďte vysoce škálovatelné a opakovatelné sklady.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na datové inženýry, datové vědce a programátory, kteří chtějí používat funkce Spark Streaming při zpracování a analýze dat v reálném čase.

Na konci tohoto školení budou účastníci schopni používat Spark Streaming ke zpracování živých datových toků pro použití v databázích, souborových systémech a živých řídicích panelech.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) je zaměřeno na vývojáře, kteří chtějí implementovat zpracování Apache Kafka streamu bez psaní kódu.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Confluent KSQL.
• Nastavte kanál zpracování datového proudu pouze pomocí příkazů SQL (žádné kódování Java nebo Python).
• Provádějte filtrování dat, transformace, agregace, spojení, vytváření oken a sessions výhradně v SQL.
• Navrhněte a nasaďte interaktivní, nepřetržité dotazy pro streamování ETL a analýzy v reálném čase.

Apache Ignite is an in-memory computing platform that sits between the application and data layer to improve speed, scale, and availability.

This instructor-led, live training (online or onsite) is aimed at developers who wish to learn the principles behind persistent and pure in-memory storage as they step through the creation of a sample in-memory computing project.

By the end of this training, participants will be able to:

• Use Ignite for in-memory, on-disk persistence as well as a purely distributed in-memory database.
• Achieve persistence without syncing data back to a relational database.
• Use Ignite to carry out SQL and distributed joins.
• Improve performance by moving data closer to the CPU, using RAM as a storage.
• Spread data sets across a cluster to achieve horizontal scalability.
• Integrate Ignite with RDBMS, NoSQL, Hadoop and machine learning processors.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Apache Beam je unifikovaný programovací model s otevřeným zdrojovým kódem pro definování a spouštění paralelních kanálů zpracování dat. Jeho síla spočívá v jeho schopnosti spouštět dávkové i streamovací kanály, přičemž spouštění je prováděno jedním z podporovaných back-endů distribuovaného zpracování Beam: Apache Apex, Apache Flink, Apache Spark a Google Cloud Dataflow. Apache Beam je užitečný pro úlohy ETL (Extract, Transform, and Load), jako je přesun dat mezi různými úložnými médii a zdroji dat, transformace dat do vhodnějšího formátu a načítání dat do nového systému.

V tomto živém školení vedeném instruktorem (na místě nebo na dálku) se účastníci naučí, jak implementovat sady Apache Beam SDK v aplikaci Java nebo Python, která definuje kanál zpracování dat pro rozklad velkého souboru dat na menší části pro nezávislé, paralelní zpracování.

Na konci tohoto školení budou účastníci schopni:

Nainstalujte a nakonfigurujte Apache Beam. Použijte jediný programovací model k provádění dávkového i proudového zpracování v rámci jejich Java nebo Python aplikace. Spouštějte kanály v různých prostředích.

Formát kurzu

Část přednáška, část diskuse, cvičení a těžké praktické cvičení

Poznámka

Tento kurz bude k dispozici Scala v budoucnu. Pro domluvu nás prosím kontaktujte.

Apache Apex je nativní platforma YARN, která sjednocuje streamování a dávkové zpracování. Zpracovává velká data v pohybu způsobem, který je škálovatelný, výkonný, odolný proti chybám, stavový, bezpečný, distribuovaný a snadno ovladatelný.

Toto živé školení vedené instruktorem představuje sjednocenou architekturu zpracování datových proudů Apache Apex a provede účastníky tvorbou distribuované aplikace využívající Apex na Hadoop.

Na konci tohoto školení budou účastníci schopni:

Pochopte koncepty potrubí zpracování dat, jako jsou konektory pro zdroje a jímky, běžné transformace dat atd. Sestavte, škálujte a optimalizujte aplikaci Apex Zpracovávejte datové toky v reálném čase spolehlivě as minimální latencí Použijte Apex Core a knihovnu Apex Malhar k umožnění rychlé aplikace vývoj Použijte Apex API k zápisu a opětovnému použití stávajícího Java kódu Integrujte Apex do jiných aplikací jako procesor pro zpracování Vylaďte, testujte a škálujte aplikace Apex

Formát kurzu

Interaktivní přednáška a diskuze. Spousta cvičení a cvičení. Praktická implementace v prostředí živé laboratoře.

Možnosti přizpůsobení kurzu

Chcete-li požádat o školení na míru pro tento kurz, kontaktujte nás a domluvíme se.

Apache Storm je distribuovaný počítačový motor v reálném čase používaný k usnadnění obchodní inteligence v reálném čase. Umožňuje aplikacím spolehlivě zpracovávat neomezené toky dat (např. zpracování toku)

"Storm je pro zpracování v reálném čase, co Hadoop je pro zpracování batchů!"

V tomto živém tréninku vedeném instruktorem se účastníci dozví, jak nainstalovat a konfigurovat Apache Storm, a pak vyvíjet a rozvíjet Apache Storm aplikaci pro zpracování velkých dat v reálném čase.

Některé z témat zahrnutých v tomto tréninku zahrnují:

• Apache Storm v souvislosti s Hadoop
• Práce s neomezenými údaji
• Kontinuální výpočet
• Analýza v reálném čase
• Distribuované zpracování RPC a ETL

Požádejte o tento kurz nyní!

publikum

• Software a vývojáři ETL
• Mainframe profesionál
• Data vědci
• Big Data analytici
• [ 0 ] profesionálové

Formát kurzu

• Částečná přednáška, částečná diskuse, cvičení a těžká praxe

V tomto živém školení vedeném instruktorem v České republice (na místě nebo na dálku) se účastníci naučí, jak nasadit a spravovat Apache NiFi v živém laboratorním prostředí.

Na konci tohoto školení budou účastníci schopni:

• Nainstalujte a nakonfigurujte Apachi NiFi.
• Zdroj, transformace a správa dat z nesourodých, distribuovaných zdrojů dat, včetně databází a velkých datových jezer.
• Automatizujte datové toky.
• Povolit analýzu streamování.
• Aplikujte různé přístupy ke zpracování dat.
• Transformujte Big Data do obchodních postřehů.

V tomto živém školení vedeném instruktorem v České republice se účastníci naučí základy programování založeného na toku při vývoji řady demo rozšíření, komponent a procesorů pomocí Apache NiFi.

Na konci tohoto školení budou účastníci schopni:

• Pochopte architekturu a koncepty toku dat NiFi.
• Vyvíjejte rozšíření pomocí NiFi a API třetích stran.
• Vlastní vývoj vlastního procesoru Apache Nifi.
• Ingestujte a zpracujte data v reálném čase z různorodých a neobvyklých formátů souborů a zdrojů dat.

Toto živé školení vedené instruktorem v České republice (online nebo na místě) představuje principy a přístupy za distribuovaným streamem a dávkovým zpracováním dat a provede účastníky vytvořením aplikace pro streamování dat v reálném čase v Apache Flink.

Na konci tohoto školení budou účastníci schopni:

Nastavte prostředí pro vývoj aplikací pro analýzu dat. Pochopte, jak funguje knihovna pro zpracování grafů (Gelly) Apache Flink. Zabalte, spouštějte a monitorujte aplikace pro streamování dat založené na Flink, odolné proti chybám. Zvládejte různé pracovní zátěže. Provádějte pokročilé analýzy. Nastavte víceuzlový cluster Flink. Měřte a optimalizujte výkon. Integrujte Flink s různými Big Data systémy. Porovnejte funkce Flink s těmi, které mají jiné rámce pro zpracování velkých dat.

V tomto živém školení vedeném instruktorem v České republice se účastníci naučí, jak používat Python a Spark společně k analýze velkých dat při práci na praktických cvičeních.

Na konci tohoto školení budou účastníci schopni:

• Naučte se používat Spark s Python k analýze velkých dat.
• Pracujte na cvičeních, která napodobují případy ze skutečného světa.
• Použijte různé nástroje a techniky pro analýzu velkých dat pomocí PySpark.

V tomto živém školení pod vedením instruktora v České republice se účastníci seznámí s nabídkou technologií a implementačními přístupy pro zpracování grafových dat. Cílem je identifikovat objekty reálného světa, jejich charakteristiky a vztahy, poté tyto vztahy modelovat a zpracovat je jako data pomocí přístupu Graph Computing (také známého jako Graph Analytics). Začínáme širokým přehledem a zužujeme se na konkrétní nástroje, když procházíme řadou případových studií, praktických cvičení a živých nasazení.

Na konci tohoto školení budou účastníci schopni:

• Pochopte, jak jsou grafová data uchovávána a procházena.
• Vyberte nejlepší rámec pro daný úkol (od databází grafů po rámce pro dávkové zpracování.)
• Implementujte Hadoop, Spark, GraphX a Pregel k provádění grafových výpočtů na mnoha strojích paralelně.
• Podívejte se na problémy s velkými daty v reálném světě z hlediska grafů, procesů a průchodů.

MLlib je knihovna Spark pro strojové učení (ML). Jeho cílem je učinit praktické strojové učení škálovatelné a snadné. Skládá se z běžných výukových algoritmů a utilit, včetně klasifikace, regrese, shlukování, kolaborativního filtrování, redukce rozměrů, stejně jako optimalizačních primitiv nižší úrovně a rozhraní API na vyšší úrovni.

Dělí se na dva balíčky:

spark.mllib obsahuje původní API postavené na RDD. spark.ml poskytuje API vyšší úrovně postavené na DataFrames pro vytváření kanálů ML.

Publikum

Tento kurz je zaměřen na inženýry a vývojáře, kteří chtějí využít vestavěnou knihovnu strojů pro Apache Spark

Formát kurzu

• Interaktivní přednáška a diskuze.
• Spousta cvičení a cvičení.
• Praktická implementace v prostředí živé laboratoře.

Možnosti přizpůsobení kurzu

• Chcete-li požádat o školení na míru pro tento kurz, kontaktujte nás a domluvíme se.

Znalost znalostí v databázích (KDD) je proces objevování užitečných znalostí z sběru dat. Reálné aplikace pro tuto techniku těžby dat zahrnují marketing, detekci podvodů, telekomunikace a výrobu.

V tomto živém kurzu vedeném instruktorem představujeme procesy zapojené do KDD a provádíme řadu cvičení pro praxi provádění těchto procesů.

publikum

• Data analytici nebo někdo, kdo se zajímá o to, jak interpretovat data k řešení problémů

Formát kurzu

• Po teoretické diskusi o KDD bude instruktor předkládat případy v reálném životě, které vyzývají k aplikaci KDD k řešení problému. Účastníci připraví, vybírají a vyčistí vzorkové datové soubory a využívají své předchozí znalosti o údajích k navrhování řešení založených na výsledcích jejich pozorování.