Návrh Školení
Základy NiFi a toku dat
- Data v pohybu vs. data v klidu: koncepty a výzvy
- Architektura NiFi: jádra, řadič toku, poznávání a oznámení
- Klíčové komponenty: procesory, připojení, řadiče a poznávání
Big Data kontext a integrace
- Role NiFi v ekosystémech Big Data (Hadoop, Kafka, cloudové úložiště)
- Přehled HDFS, MapReduce a moderních alternativ
- Použití: streamování dat, převádění logů, event pipelines
Instalace, konfigurace & nastavení clusteru
- Instalace NiFi v jednoduchém a clustrovém režimu
- Konfigurace clusteru: role uzlů, Zookeeper a vyvažování zatížení
- Správa nasazení NiFi: pomocí Ansible, Docker nebo Helm
Návrh a správa toku dat
- Směrování, filtrování, rozdělování a sloučování toků
- Konfigurace procesorů (InvokeHTTP, QueryRecord, PutDatabaseRecord atd.)
- Zpracování schémat, obohacování a transformace dat
- Obsluha chyb, opakování vztahů a zpětný tlak
Scénáře integrace
- Připojení k databázím, systémům zpráv, REST API
- Streamování do analytických systémů: Kafka, Elasticsearch nebo cloudové úložiště
- Integrace s Splunk, Prometheus nebo logovacími pipeliney
Sledování, obnovení & poznávání
- Použití UI NiFi, metrik a vizualizace poznávání
- Návrh autonomního obnovení a elegantné obsluhy selhání
- Zálohování, verze toku a správa změn
Optimalizace výkonu & optimalizace
- JVM tunování, heap, thread pools a clustrové parametry
- Optimalizace návrhu toku pro snížení lahvích hrdel
- Izolace zdrojů, priorizace toku a kontrola propustnosti
Odborné postupy & řízení
- Dokumentace toku, standardy pojmenování, modulární návrh
- Zabezpečení: TLS, ověřování, řízení přístupu, šifrování dat
- Správa změn, verze, role uživatelů a auditní trasování
Řešení potíží & reakce na incidenty
- Běžné problémy: deadevlock, únik paměti, chyby procesorů
- Analyza logů, diagnostika chyb a vyšetřování zdrojových příčin
- Strategie obnovení a vrácení toku
Praktické cvičení: Implementace realistického datového pipeline
- Vytvoření toku od konce do konce: ingestní, transformační a dodací části
- Implementace obsluhy chyb, zpětného tlaku a škálování
- Výkonové testy a optimalizace pipeline
Závěr a další kroky
Požadavky
- Zkušenosti s příkazovou řádkou Linuxu
- Základní pochopení sítí a datových systémů
- Omlouvání se o konceptech datového streamování nebo ETL (Extract, Transform, Load)
Účastníci
- Systémoví administrátoři
- Data engineeri
- Vývojáři
- DevOps profesionálové
Reference (7)
Praktické cvičení. Třída by měla trvat 5 dní, ale i tři dny pomohly rozjasnit spoustu otázek, které jsem měl z práce s NiFi.
James - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Myslel jsem, že tempování vedení bylo dobré. Žádný student nezůstal za ním díky jeho přístupu. Byl velmi podporující k nám BEGİNNERŮM, kteří možná během své kariéry neměli roli systémového správce nebo infrastruktury, nebo tyto dovednosti obnovili z předchozí fáze své kariéry.
Pamdrea Ivory - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Mám rád praktickou část. Pomohlo mi to lépe si zapamatovat informace, když jsem dokončoval poskytnuté cvičení. Kromě toho schopnost instruktora zapojit celou třídu mě přesvědčila, že se mohu bez obav ptát na věci, o kterých jsem nebyl si jist.
Leila - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Případové studie a příklady pro vytváření datových toků NiFi. Zaměřili jsme se na řešení běžných problémů a pastí.
Nelson - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Miloval jsem strukturu. V první den jsme se ponořili do základů NiFi, konceptů, případů použití atd. Druhého dne jsme mohli využít znalosti z prvního dne k sestavování toků splňujících požadavky scénářů. Třetí den jsme se seznámili s registrem NiFi, verzováním, víceuživatelským režimem a projeli Q&A.
Adam - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Obdivávám, jak dokázal podrobně vysvětlit NiFi a jeho sílu. Lze ho použít téměř pro jakoukoli infrastrukturu a s různými programovacími jazyky. Radoval jsem se také, že jsme mohli vyřešit problém s obnovením certifikátu NiFi pomocí Truststore.
Joachim Martin - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
obecné znalosti a možnosti, které školení nabízí v oblasti nástroje.
Nalfis Tobar - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem