Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Shrnutí Apache Airflow Základy
- Základní koncepty: DAG, operátory a tok provádění
- Architektura proudění vzduchu a komponenty
- Pochopení pokročilých případů použití a pracovních postupů
Vytváření vlastních operátorů
- Pochopení anatomie operátora Airflow
- Vývoj vlastních operátorů pro konkrétní úkoly
- Testování a ladění vlastních operátorů
Vlastní háčky a senzory
- Implementační háčky pro integraci externího systému
- Vytváření senzorů pro sledování externích spouštěčů
- Vylepšení interaktivity pracovních postupů pomocí vlastních senzorů
Vývoj zásuvných modulů pro proudění vzduchu
- Pochopení architektury pluginu
- Navrhování zásuvných modulů pro rozšíření funkčnosti Airflow
- Doporučené postupy pro správu a nasazení pluginů
Integrace proudění vzduchu s externími systémy
- Připojení Airflow k databázím, rozhraním API a cloudovým službám
- Použití Airflow pro ETL workflow a zpracování dat v reálném čase
- Správa závislostí mezi prouděním vzduchu a externími systémy
Pokročilé ladění a monitorování
- Použití protokolů a metrik proudění vzduchu k řešení problémů
- Konfigurace výstrah a upozornění na problémy s pracovním postupem
- Využití externích monitorovacích nástrojů s Airflow
Optimalizace výkonu a Scalaschopnosti
- Škálování proudění vzduchu pomocí celeru a Kubernetes Exekutorů
- Optimalizace využití zdrojů v komplexních pracovních postupech
- Strategie pro vysokou dostupnost a odolnost proti chybám
Případové studie a aplikace v reálném světě
- Zkoumání případů pokročilého použití v datovém inženýrství a DevOps
- Případová studie: Vlastní implementace operátora pro rozsáhlé ETL
- Doporučené postupy pro správu pracovních postupů na podnikové úrovni
Shrnutí a další kroky
Požadavky
- Silné porozumění základům Apache Airflow, včetně DAG, operátorů a architektury provádění
- Znalost Python programování
- Zkušenosti s integrací datových systémů a orchestrací pracovních postupů
Publikum
- Datoví inženýři
- DevOps inženýři
- Softwaroví architekti
21 hodiny
Reference (1)
The instructor adapted the training to the participants’ level and responded to all questions. He was very communicative, and it was easy to interact with him. I really appreciated the format of the training, which included many practical exercises. Overall, it was a very engaging and well-organized session.
