Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Shrnutí Apache Airflow Základy
- Základní koncepty: DAG, operátory a tok provádění
- Architektura proudění vzduchu a komponenty
- Pochopení pokročilých případů použití a pracovních postupů
Vytváření vlastních operátorů
- Pochopení anatomie operátora Airflow
- Vývoj vlastních operátorů pro konkrétní úkoly
- Testování a ladění vlastních operátorů
Vlastní háčky a senzory
- Implementační háčky pro integraci externího systému
- Vytváření senzorů pro sledování externích spouštěčů
- Vylepšení interaktivity pracovních postupů pomocí vlastních senzorů
Vývoj zásuvných modulů pro proudění vzduchu
- Pochopení architektury pluginu
- Navrhování zásuvných modulů pro rozšíření funkčnosti Airflow
- Doporučené postupy pro správu a nasazení pluginů
Integrace proudění vzduchu s externími systémy
- Připojení Airflow k databázím, rozhraním API a cloudovým službám
- Použití Airflow pro ETL workflow a zpracování dat v reálném čase
- Správa závislostí mezi prouděním vzduchu a externími systémy
Pokročilé ladění a monitorování
- Použití protokolů a metrik proudění vzduchu k řešení problémů
- Konfigurace výstrah a upozornění na problémy s pracovním postupem
- Využití externích monitorovacích nástrojů s Airflow
Optimalizace výkonu a Scalaschopnosti
- Škálování proudění vzduchu pomocí celeru a Kubernetes Exekutorů
- Optimalizace využití zdrojů v komplexních pracovních postupech
- Strategie pro vysokou dostupnost a odolnost proti chybám
Případové studie a aplikace v reálném světě
- Zkoumání případů pokročilého použití v datovém inženýrství a DevOps
- Případová studie: Vlastní implementace operátora pro rozsáhlé ETL
- Doporučené postupy pro správu pracovních postupů na podnikové úrovni
Shrnutí a další kroky
Požadavky
- Silné porozumění základům Apache Airflow, včetně DAG, operátorů a architektury provádění
- Znalost Python programování
- Zkušenosti s integrací datových systémů a orchestrací pracovních postupů
Publikum
- Datoví inženýři
- DevOps inženýři
- Softwaroví architekti
21 hodiny
Reference (1)
Tons of new things learned. Thanks to Jacek who is very skilled, kind and helping a lot.
