Návrh Školení
Základy NiFi a datových toků
- Data v pohybu versus data v klidu: koncepty a výzvy
- Architektura NiFi: jádro systému, řídicí jednotka toků, sledování historie dat a záznamy o aktivitách
- Klíčové komponenty: procesory, spojení mezi nimi, řídicí jednotky a historické záznamy
Kontext velkých dat a jejich integrace
- Role NiFi v ekosystémech velkých dat (Hadoop, Kafka, cloudové úložiště)
- Přehled HDFS, MapReduce a moderních alternativ
- Uplatnění: streamování dat, přenos logů, tvorba pipeline pro události
Instalace, konfigurace a nastavení clusteru
- Instalace NiFi na jednom uzlu i v režimu clusteru
- Konfigurace clusteru: role jednotlivých uzlů, integrace s Zookeepperem a vyvažování zátěže
- Automatizace nasazení NiFi pomocí nástrojů Ansible, Docker nebo Helm
Návrh a správa datových toků
- Směrování, filtrování, rozdělování a spojování toků
- Konfigurace procesorů (např. InvokeHTTP, QueryRecord, PutDatabaseRecord)
- Práce se schématy dat, jejich obohacování a transformace
- Ošetření chyb, definování opakovacích akcí a řešení problémů s přetížením systému
Scénáře integrace
- Připojování k databázím, messaging systémům a REST API
- Streamování dat do analytických nástrojů: Kafka, Elasticsearch nebo cloudové úložiště
- Integrace s nástroji Splunk, Prometheus či systémy pro záznam událostí
Monitorování, obnova po selhání a sledování historie dat
- Využití uživatelského rozhraní NiFi, metrik a vizualizátoru historických záznamů
- Navrhování autonomních mechanismů obnovy po poruchách a elegantní reakce na selhání systému
- Zálohování dat, verzování toků a správa změn
Ladění výkonu a optimalizace
- Nastavování parametrů JVM, velikosti paměti, počtu vláken a konfigurace clusteru
- Optimalizace návrhu toků za účelem odstranění úzkých míst
- Izolace zdrojů, stanovování priorit pro jednotlivé toky a řízení jejich propustnosti
Osvědčené postupy a správa datových toků
- Dokumentace toků, stanovení konvencí pro pojmenování prvků a modulární návrh systému
- Zabezpečení: TLS, autentizace, kontrola přístupu a šifrování dat
- Řízení změn, verzování toků, přístupová oprávnění podle rolí a vedení auditních záznamů
Řešení problémů a reakce na incidenty
- Běžné potíže: zaseknuté procesy, únik paměti, chyby v činnosti procesorů
- Analýza logů, diagnostika chyb a vyhledávání jejich příčin
- Strategie obnovy systému a možnosti vrácení toků do původního stavu
Praktická cvičení: implementace reálného datového toku
- Vytvoření kompletního datového toku: jeho naplnění, transformaci a doručení výsledků
- Implementace mechanismů pro řešení chyb, regulaci přetížení systému a škálování toku
- Testování výkonu vytvořeného toku a jeho ladění
Shrnutí a další kroky
Požadavky
- Zkušenosti s používáním příkazového řádku v Linuxu
- Základní znalosti o síťových technologiích a datových systémech
- Seznámení s koncepty streamování dat nebo procesů ETL
Cílová skupina
- Správci systémů
- Data inženýři
- Vývojáři
- Odborníci z oblasti DevOps
Reference (7)
Praktické cvičení. Třída by měla trvat 5 dní, ale i tři dny pomohly rozjasnit spoustu otázek, které jsem měl z práce s NiFi.
James - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Myslel jsem, že tempování vedení bylo dobré. Žádný student nezůstal za ním díky jeho přístupu. Byl velmi podporující k nám BEGİNNERŮM, kteří možná během své kariéry neměli roli systémového správce nebo infrastruktury, nebo tyto dovednosti obnovili z předchozí fáze své kariéry.
Pamdrea Ivory - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Mám rád praktickou část. Pomohlo mi to lépe si zapamatovat informace, když jsem dokončoval poskytnuté cvičení. Kromě toho schopnost instruktora zapojit celou třídu mě přesvědčila, že se mohu bez obav ptát na věci, o kterých jsem nebyl si jist.
Leila - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Případové studie a příklady pro vytváření datových toků NiFi. Zaměřili jsme se na řešení běžných problémů a pastí.
Nelson - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Miloval jsem strukturu. V první den jsme se ponořili do základů NiFi, konceptů, případů použití atd. Druhého dne jsme mohli využít znalosti z prvního dne k sestavování toků splňujících požadavky scénářů. Třetí den jsme se seznámili s registrem NiFi, verzováním, víceuživatelským režimem a projeli Q&A.
Adam - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Obdivávám, jak dokázal podrobně vysvětlit NiFi a jeho sílu. Lze ho použít téměř pro jakoukoli infrastrukturu a s různými programovacími jazyky. Radoval jsem se také, že jsme mohli vyřešit problém s obnovením certifikátu NiFi pomocí Truststore.
Joachim Martin - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
obecné znalosti a možnosti, které školení nabízí v oblasti nástroje.
Nalfis Tobar - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
