Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Přehled základů Apache Airflow
- Základní koncepty: DAG, úkoly a operátory
- Architektura a komponenty Airflow
- Známé případy použití a pracovní toky
Optimalizace výkonu pracovních toků
- Identifikace úzkých míst v kanálech Airflow
- Techniky optimalizace na úrovni jednotlivých úkolů
- Využití opakování, paralelismu a souběžnosti úkolů
Správa komplexních závislostí mezi úkoly
- Definování dynamických závislostí v pracovních tocích
- Řešení podmíněných a rozvětvených toků
- Efektivní využívání skupin úkolů a sub-DAGů
Pokročilé funkce Apache Airflow
- Vytváření vlastních operátorů a modulů pro propojení s externími systémy
- Implementace senzorů určených k detekci událostí z vnějších systémů
- Integrace externích služeb a doplňků do prostředí Airflow
Škálování nasazení Apache Airflow
- Přístupy k horizontálnímu i vertikálnímu škálování
- Využití Celery Executor pro distribuované provádění úkolů
- Osvědčené postupy pro škálování v cloudových prostředích
Monitorování a odstraňování problémů v pracovních tocích
- Nastavení protokolování a upozornění pro sledování průběhu toků
- Používání uživatelského rozhraní i příkazové řádky Airflow k diagnostice potíží
- Identifikace a řešení běžných problémů v prostředí Airflow
Zabezpečení Apache Airflow
- Autentizace a kontrola přístupu v rámci systému Airflow
- Ochrana citlivých dat a konfigurace prostředí
- Zavedení auditního sledování aktivit spojených s pracovními toky
Firemní využití a osvědčené postupy
- Návrh robustních pracovních toků pro produkční prostředí
- Využití Airflow k realizaci datových inženýrských úkolů a ETL kanálů
- Příklady skutečných nasazení Apache Airflow v různých firemních kontextech
Shrnutí a další kroky
Požadavky
- Základní znalosti o Apache Airflow
- Ovládání programovacího jazyka Python a znalost konceptů orchestrace pracovních toků
- Praktické zkušenosti s správou a nasazováním aplikací v prostředí Linuxu
Koho je kurz určen?
- Inženýři pracující s daty
- Profesionálové z oblasti DevOps
- Vývojáři softwaru
21 Hodiny
Reference (1)
Instruktor přizpůsobil školení úrovni účastníků a odpověděl na všechny otázky. Byl velmi komunikativní a bylo snadné s ním interagovat. Velmi jsem si cenil formát školení, který zahrnoval mnoho praktických cvičení. Celkově to byla velmi angažující a dobře organizovaná relace.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurz - Apache Airflow: Building and Managing Data Pipelines
Přeloženo strojem
