Návrh Školení

Shrnutí Apache Airflow Základy

  • Základní koncepty: DAG, operátory a tok provádění
  • Architektura proudění vzduchu a komponenty
  • Pochopení pokročilých případů použití a pracovních postupů

Vytváření vlastních operátorů

  • Pochopení anatomie operátora Airflow
  • Vývoj vlastních operátorů pro konkrétní úkoly
  • Testování a ladění vlastních operátorů

Vlastní háčky a senzory

  • Implementační háčky pro integraci externího systému
  • Vytváření senzorů pro sledování externích spouštěčů
  • Vylepšení interaktivity pracovních postupů pomocí vlastních senzorů

Vývoj zásuvných modulů pro proudění vzduchu

  • Pochopení architektury pluginu
  • Navrhování zásuvných modulů pro rozšíření funkčnosti Airflow
  • Doporučené postupy pro správu a nasazení pluginů

Integrace proudění vzduchu s externími systémy

  • Připojení Airflow k databázím, rozhraním API a cloudovým službám
  • Použití Airflow pro ETL workflow a zpracování dat v reálném čase
  • Správa závislostí mezi prouděním vzduchu a externími systémy

Pokročilé ladění a monitorování

  • Použití protokolů a metrik proudění vzduchu k řešení problémů
  • Konfigurace výstrah a upozornění na problémy s pracovním postupem
  • Využití externích monitorovacích nástrojů s Airflow

Optimalizace výkonu a Scalaschopnosti

  • Škálování proudění vzduchu pomocí celeru a Kubernetes Exekutorů
  • Optimalizace využití zdrojů v komplexních pracovních postupech
  • Strategie pro vysokou dostupnost a odolnost proti chybám

Případové studie a aplikace v reálném světě

  • Zkoumání případů pokročilého použití v datovém inženýrství a DevOps
  • Případová studie: Vlastní implementace operátora pro rozsáhlé ETL
  • Doporučené postupy pro správu pracovních postupů na podnikové úrovni

Shrnutí a další kroky

Požadavky

  • Silné porozumění základům Apache Airflow, včetně DAG, operátorů a architektury provádění
  • Znalost Python programování
  • Zkušenosti s integrací datových systémů a orchestrací pracovních postupů

Publikum

  • Datoví inženýři
  • DevOps inženýři
  • Softwaroví architekti
 21 hodiny

Počet účastníků


Price per participant

Upcoming Courses

Související kategorie