Návrh Školení

Příprava ML modelů na nasazení

  • Balení modelů s Dockerem
  • Exportování modelů z TensorFlow a PyTorch
  • Aspekty verzování a úložišťe

Servírování modelů na Kubernetes

  • Přehled inferenčních serverů
  • Nasazení TensorFlow Serving a TorchServe
  • Nastavení koncových bodů modelů

Techniky optimalizace inferencí

  • Strategie dávkování
  • Zpracování souběžných požadavků
  • Nastavení latence a propustnosti

Autoscaling ML úloh

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

Zřizování a správa zdrojů GPU

  • Konfigurace uzlů s GPU
  • Přehled pluginu zařízení NVIDIA
  • Požadavky a limity zdrojů pro ML úlohy

Strategie nasazení a uvolňování modelů

  • Blue/green deployments
  • Mvětřené rollout vzory (canary)
  • A/B testování pro hodnocení modelů

Monitoring a sledovatelnost ML v produkci

  • Metriky pro úlohy inferencí
  • Praxe logování a trasování
  • Řídicí panely a alarmy

Aspekty bezpečnosti a spolehlivosti

  • Zabezpečení koncových bodů modelů
  • Síťové zásady a řízení přístupu
  • Zajištění vysoké dostupnosti

Shrnutí a další kroky

Požadavky

  • Pochopení pracovních postupů kontejnerizovaných aplikací
  • Zkušenosti s ML modely založenými na Pythonu
  • Odbornost v základech Kubernetes

Cílová skupina

  • Inženýři ML (Machine Learning)
  • DevOps inženýři
  • Týmy platformového inženýrství
 14 Hodiny

Počet účastníků


Cena za účastníka

Reference (5)

Nadcházející kurzy

Související kategorie