Návrh Školení
Úvod do Apache Airflow
- Co je orchestrace pracovních toků
- Klíčové vlastnosti a výhody Apache Airflow
- Zlepšení ve verzích Airflow 2.x a přehled ekosystému
Architektura a základní koncepty
- Procesy scheduleru, webového serveru a workerů
- DAGy, úlohy a operátory
- Executory a backendy (Local, Celery, Kubernetes)
Instalace a nastavení
- Instalace Airflow v lokálních a cloudových prostředích
- Konfigurace Airflow s různými executory
- Nastavení databází metadat a připojení
Navigace v UI a CLI Airflow
- Prozkoumání webového rozhraní Airflow
- Monitorování běhů DAGů, úloh a protokolů
- Použití CLI Airflow pro administraci
Tvorba a správa DAGů
- Vytváření DAGů pomocí TaskFlow API
- Použití operátorů, senzorů a háčků
- Správa závislostí a intervalů plánování
Integrace Airflow se službami dat a cloudy
- Propojení s databázemi, API a frontami zpráv
- Spouštění ETL potrubí pomocí Airflow
- Cloudové integrace: operátory pro AWS, GCP, Azure
Monitorování a observabilita
- Protokoly úloh a monitorování v reálném čase
- Metriky pomocí Prometheus a Grafana
- Upozornění a notifikace prostřednictvím e-mailu nebo Slacku
Zabezpečení Apache Airflow
- Správa přístupových práv na základě rolí (RBAC)
- Autentizace pomocí LDAP, OAuth a SSO
- Správa tajných dat pomocí Vault a cloudových úložišť tajných dat
Škálování Apache Airflow
- Paralelizmus, konvence a fronty úloh
- Použití CeleryExecutor a KubernetesExecutor
- Nasazení Airflow na Kubernetes pomocí Helm
Nejlepší praktiky pro produkci
- Správa verzí a CI/CD pro DAGy
- Testování a ladění DAGů
- Udržování spolehlivosti a výkonu ve velkém měřítku
Odstraňování chyb a optimalizace
- Ladění chybných DAGů a úloh
- Optimalizace výkonu DAGů
- Časté pasti a jak jim zabránit
Shrnutí a další kroky
Požadavky
- Zkušenosti s programováním v jazyce Python
- Seznámení s koncepty data engineeringu nebo DevOps
- Pochopení ETL nebo orchestrace pracovních toků
Cílová skupina
- Data scientists
- Data engineers
- DevOps a infrastrukturní inženýři
- Software vývojáři
Reference (7)
Instruktor přizpůsobil školení úrovni účastníků a odpověděl na všechny otázky. Byl velmi komunikativní a bylo snadné s ním interagovat. Velmi jsem si cenil formát školení, který zahrnoval mnoho praktických cvičení. Celkově to byla velmi angažující a dobře organizovaná relace.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurz - Apache Airflow: Building and Managing Data Pipelines
Přeloženo strojem
Školení bylo přesně na míře. Velmi užitečná teorie a cvičení.
Vladimir - PUBLIC COURSE
Kurz - Apache Airflow
Přeloženo strojem
Školení bylo přesně ve všech ohledech na místě. Užitečné teoretické aspekty a cvičení.
Vladimir - PUBLIC COURSE
Kurz - Apache Airflow
Přeloženo strojem
Trénink byl ve všech ohledech přesný. Užitečné teoretické aspekty a cvičení.
Vladimir - PUBLIC COURSE
Kurz - Apache Airflow
Přeloženo strojem
Trénink byl přesný ve všech ohledech. Užitečné teoretické aspekty a cvičení.
Vladimir - PUBLIC COURSE
Kurz - Apache Airflow
Přeloženo strojem
Trenink byl přesný ve všech ohledech. Užitečné teoretické aspekty a cvičení.
Vladimir - PUBLIC COURSE
Kurz - Apache Airflow
Přeloženo strojem
Školení bylo výborné ve všech ohledech. Užitečné teoretické aspekty a cvičení.
Vladimir - PUBLIC COURSE
Kurz - Apache Airflow
Přeloženo strojem
