Zkuste nás kontaktovat
 Doba trvání 14 hodiny

Návrh Školení

Příprava modelů machine learningu pro nasazení

  • Balení modelů pomocí Dockeru
  • Exportování modelů z TensorFlow a PyTorch
  • Verzování a úvaha o úložišti

Servírování modelů na Kubernetes

  • Přehled inferenčních serverů
  • Nasazování TensorFlow Serving a TorchServe
  • Nastavení endpointů modelů

Techniky optimalizace inferencí

  • Strategie batchování
  • Zpracování konkurentních požadavků
  • Ladění latence a throughputu

Automatické škálování ML workloadů

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Příprava GPU a správa zdrojů

  • Konfigurace GPU uzlů
  • Přehled NVIDIA device plugin
  • Požadavky a limity zdrojů pro ML workloads

Strategie rolloutu a vydávání modelů

  • Blue/green deploymenty
  • Vzory canary rolloutu
  • A/B testování pro hodnocení modelů

Monitoring a pozorovatelnost ML v produkci

  • Metрики pro inferenční workloads
  • Praxe logování a traceování
  • Dashboardy a alarmování

Zvažuji bezpečnost a spolehlivost

  • Bezpečnost endpointů modelů
  • Sítě politiky a kontrola přístupu
  • Zajištění vysoké dostupnosti

Shrnutí a další kroky

Požadavky

  • Pochopení procesů kontejnerizovaných aplikací
  • Zkušenosti s ML modely založenými na Pythonu
  • Znalost základů Kubernetes

Cílová skupina

  • Stavbaři ML
  • DevOps inženýři
  • Platform engineering týmy

Počet účastníků


Cena za účastníka

Reference (4)

Nadcházející kurzy

Související kategorie