Zkuste nás kontaktovat

Návrh Školení

Příprava modelů strojového učení pro nasazení

  • Balení modelů pomocí Dockeru
  • Export modelů z TensorFlow a PyTorch
  • Přístupy ke versioningu a úložišti

Poskytování modelů na Kubernetes

  • Přehled servery pro inferenci
  • Nasazení TensorFlow Serving a TorchServe
  • Konfigurace koncových bodů modelů

Techniky optimalizace inference

  • Strategie batchování
  • Zpracování souběžných požadavků
  • Ladění latence a průtočnosti

Automatické škálování pracovních zátěží ML

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Přidělování GPU a řízení zdrojů

  • Konfigurace uzlů s GPU
  • Přehled pluginu zařízení NVIDIA
  • Požadavky na zdroje a limity pro pracovní zátěže ML

Strategie nasazování a vydávání modelů

  • Nasazení Blue/Green
  • Vzory kaskádového (canary) nasazení
  • A/B testování pro hodnocení modelů

Monitorování a pozorovatelnost ML v produkci

  • Metriky pro pracovní zátěže inference
  • Praxe logování a sledování
  • Dashboardy a upozorňování

Bezpečnostní a spolehlivostní aspekty

  • Zabezpečení koncových bodů modelů
  • Síťové politiky a řízení přístupu
  • Zajištění vysoké dostupnosti

Shrnutí a další kroky

Požadavky

  • Pochopení workflow kontejnerizovaných aplikací
  • Zkušenosti s modely strojového učení založenými na Pythonu
  • Seznámení se základy Kubernetes

Cílová skupina

  • Inženýři ML
  • Inženýři DevOps
  • Týmy platformního inženýrství
 14 Hodiny

Počet účastníků


Cena za účastníka

Reference (3)

Nadcházející kurzy

Související kategorie