Návrh Školení
Základy NiFi a toku dat
- Data v pohybu vs. data v klidu: koncepty a výzvy
- Architektura NiFi: jádro, řadič toku, provenience a bulletin
- Klíčové komponenty: zpracovatelé, připojení, kontrolery a provenience
Kontext Big Data a integrace
- Role NiFi v ekosystémech Big Data (Hadoop, Kafka, cloudové úložiště)
- Přehled HDFS, MapReduce a moderních alternativ
- Případy použití: přijímání streamů, posílání logů, eventové potrubí
Instalace, konfigurace a nastavení clusteru
- Instalace NiFi na jednotlivém uzlu a v clusterovém režimu
- Konfigurace clusteru: role uzlů, Zookeeper a vyvažování zatížení
- Orchestrace nasazení NiFi: použití Ansible, Docker nebo Helm
Návrh a správa dataflows
- Routování, filtrování, rozdělování a slučování toků
- Konfigurace zpracovatelů (InvokeHTTP, QueryRecord, PutDatabaseRecord atd.)
- Zpracování schémat, obohacování a transformační operace
- Zpracování chyb, vztahy pro opakování a backpressure
Integrační scénáře
- Připojení k databázím, zpravovacím systémům a REST API
- Streamování do analytických systémů: Kafka, Elasticsearch nebo cloudové úložiště
- Integrace se Splunk, Prometheus nebo pipeline pro logování
Monitorování, obnovování a provenience
- Použití UI NiFi, metrik a vizualizátoru provenience
- Návrh autonomního obnovování a elegantního zpracování selhání
- Zálohování, verzování toků a správa změn
Optimalizace výkonu
- Dolaďování JVM, haldy, poolů vlákna a parametrů clusteru
- Optimalizace návrhu toků pro snížení úzkých hrdel
- Izolace zdrojů, priorita toků a kontrola propustnosti
Nejlepší praktiky a governance
- Dokumentace toků, standardy pojmenování, modularity návrhu
- Bezpečnost: TLS, autentizace, řízení přístupu, šifrování dat
- Řízení změn, verzování, přístup podle rolí, auditní stopy
Odstraňování potíží a reakce na incidenty
- Časté problémy: mrtvé kódy, úniky paměti, chyby zpracovatelů
- Analýza logů, diagnostika chyb a vyšetřování příčin
- Strategie obnovování a rollback toků
Praktická laboratoř: Implementace realističného datového potrubí
- Budování toku od konce do konce: přijímání, transformace, doručení
- Implementace zpracování chyb, backpressure a škálování
- Testování výkonu a doladění potrubí
Shrnutí a další kroky
Požadavky
- Zkušenosti s příkazovým řádkem Linuxu
- Základní porozumění síťování a datovým systémům
- Seznámení s koncepty streamování dat nebo ETL
Cílová skupina
- Systémoví administrátoři
- Data inženýři
- Vývojáři
- Profesionálové v oblasti DevOps
Reference (7)
Praktické cvičení. Třída by měla trvat 5 dní, ale i tři dny pomohly rozjasnit spoustu otázek, které jsem měl z práce s NiFi.
James - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Myslel jsem, že tempování vedení bylo dobré. Žádný student nezůstal za ním díky jeho přístupu. Byl velmi podporující k nám BEGİNNERŮM, kteří možná během své kariéry neměli roli systémového správce nebo infrastruktury, nebo tyto dovednosti obnovili z předchozí fáze své kariéry.
Pamdrea Ivory - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Mám rád praktickou část. Pomohlo mi to lépe si zapamatovat informace, když jsem dokončoval poskytnuté cvičení. Kromě toho schopnost instruktora zapojit celou třídu mě přesvědčila, že se mohu bez obav ptát na věci, o kterých jsem nebyl si jist.
Leila - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Případové studie a příklady pro vytváření datových toků NiFi. Zaměřili jsme se na řešení běžných problémů a pastí.
Nelson - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Miloval jsem strukturu. V první den jsme se ponořili do základů NiFi, konceptů, případů použití atd. Druhého dne jsme mohli využít znalosti z prvního dne k sestavování toků splňujících požadavky scénářů. Třetí den jsme se seznámili s registrem NiFi, verzováním, víceuživatelským režimem a projeli Q&A.
Adam - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
Obdivávám, jak dokázal podrobně vysvětlit NiFi a jeho sílu. Lze ho použít téměř pro jakoukoli infrastrukturu a s různými programovacími jazyky. Radoval jsem se také, že jsme mohli vyřešit problém s obnovením certifikátu NiFi pomocí Truststore.
Joachim Martin - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
obecné znalosti a možnosti, které školení nabízí v oblasti nástroje.
Nalfis Tobar - BHG Financial
Kurz - Apache NiFi for Administrators
Přeloženo strojem
