Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Návrh Školení
Shrnutí Apache Airflow Základy
- Základní koncepty: DAG, operátory a tok provádění
- Architektura proudění vzduchu a komponenty
- Pochopení pokročilých případů použití a pracovních postupů
Vytváření vlastních operátorů
- Pochopení anatomie operátora Airflow
- Vývoj vlastních operátorů pro konkrétní úkoly
- Testování a ladění vlastních operátorů
Vlastní háčky a senzory
- Implementační háčky pro integraci externího systému
- Vytváření senzorů pro sledování externích spouštěčů
- Vylepšení interaktivity pracovních postupů pomocí vlastních senzorů
Vývoj zásuvných modulů pro proudění vzduchu
- Pochopení architektury pluginu
- Navrhování zásuvných modulů pro rozšíření funkčnosti Airflow
- Doporučené postupy pro správu a nasazení pluginů
Integrace proudění vzduchu s externími systémy
- Připojení Airflow k databázím, rozhraním API a cloudovým službám
- Použití Airflow pro ETL workflow a zpracování dat v reálném čase
- Správa závislostí mezi prouděním vzduchu a externími systémy
Pokročilé ladění a monitorování
- Použití protokolů a metrik proudění vzduchu k řešení problémů
- Konfigurace výstrah a upozornění na problémy s pracovním postupem
- Využití externích monitorovacích nástrojů s Airflow
Optimalizace výkonu a Scalaschopnosti
- Škálování proudění vzduchu pomocí celeru a Kubernetes Exekutorů
- Optimalizace využití zdrojů v komplexních pracovních postupech
- Strategie pro vysokou dostupnost a odolnost proti chybám
Případové studie a aplikace v reálném světě
- Zkoumání případů pokročilého použití v datovém inženýrství a DevOps
- Případová studie: Vlastní implementace operátora pro rozsáhlé ETL
- Doporučené postupy pro správu pracovních postupů na podnikové úrovni
Shrnutí a další kroky
Požadavky
- Silné porozumění základům Apache Airflow, včetně DAG, operátorů a architektury provádění
- Znalost Python programování
- Zkušenosti s integrací datových systémů a orchestrací pracovních postupů
Publikum
- Datoví inženýři
- DevOps inženýři
- Softwaroví architekti
21 hodiny