Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Zopakování základních principů Apache Airflow
- Klíčové koncepty: DAG, operátory a řídící tok provádění.
- Architektura a komponenty systému Airflow.
- Pochopení pokročilých případů použití a pracovních toků.
Vytváření vlastních operátorů
- Principy fungování operátorů v Airflow.
- Postup při tvorbě vlastních operátorů určených k specifickým úkolům.
- Testování a ladění vytvořených operátorů.
Vlastní hooky a senzory
- Návrh a implementace hooků pro propojení s externími systémy.
- Tvorba senzorů určených k sledování podmínek vnějších spouštěčů.
- Zvýšení interaktivity pracovních toků díky vlastním senzorům.
Vývoj pluginů pro Airflow
- Přehled architektury pluginů.
- Postup při navrhování a implementaci pluginů rozšiřujících schopnosti systému.
- Osvědčené postupy při správě a nasazování pluginů.
Integrace Airflow s externími systémy
- Připojení k databázím, API rozhraním a cloudovým službám.
- Využití Airflow v procesech ETL a při zpracování dat v reálném čase.
- Správa vzájemných závislostí mezi systémem Airflow a externími službami.
Pokročilé ladění a monitorování
- Využívání logů a metrik k diagnostice problémů.
- Nastavování upozornění a notifikací při výskytu chyb v pracovních tocích.
- Spojení externích nástrojů na monitorování s prostředím Airflow.
Optimalizace výkonu a škálovatelnosti
- Škálování systému pomocí Celery nebo Kubernetes Executorů.
- Účinné využití zdrojů při řešení složitých pracovních toků.
- Strategie pro dosažení vysoké dostupnosti a odolnosti systému.
Příklady z praxe a konkrétní aplikace
- Ukázky pokročilých použití v oblasti datového inženýrství i DevOps.
- Případová studie: Implementace vlastního operátoru pro velkoplošné ETL procesy.
- Postupy pro efektivní správu pracovních toků na podnikové úrovni.
Shrnutí a další kroky
Požadavky
- Důkladná znalost základních konceptů Apache Airflow – včetně DAG, operátorů a architektury provádění.
- Ovládání programovacího jazyka Python.
- Zkušenosti s integrací datových systémů a orchestrací pracovních toků.
Cílová skupina
- Inženýři zabývající se daty.
- DevOps inženýři.
- Softwaroví architekti.
21 Hodiny
Reference (1)
Instruktor přizpůsobil školení úrovni účastníků a odpověděl na všechny otázky. Byl velmi komunikativní a bylo snadné s ním interagovat. Velmi jsem si cenil formát školení, který zahrnoval mnoho praktických cvičení. Celkově to byla velmi angažující a dobře organizovaná relace.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurz - Apache Airflow: Building and Managing Data Pipelines
Přeloženo strojem
