Zkuste nás kontaktovat

Návrh Školení

Příprava modelů strojového učení k nasazení

  • Sbalení modelů do kontejnerů pomocí nástroje Docker
  • Export modelů z prostředí TensorFlow a PyTorch
  • Hlediska verzování a ukládání dat

Poskytování modelů v Kubernetes

  • Přehled serverů určených k inferenci
  • Nasazování nástrojů TensorFlow Serving a TorchServe
  • Konfigurace koncových bodů modelů

Techniky optimalizace inference

  • Strategie seskupování požadavků do várky
  • Způsoby zvládání více požadavků současně
  • Nastavení hodnot latence a propustnosti systému

Automatické škálování pracovních zátěží strojového učení

  • Horizontální podautoskalér (HPA)
  • Vertikální podautoskalér (VPA)
  • Nástroj Kubernetes Event-Driven Autoscaling (KEDA)

Zajištění dostupnosti GPU a správa zdrojů

  • Konfigurace uzlů vybavených GPU
  • Přehled pluginu pro zařízení NVIDIA
  • Nastavení požadavků na zdroje a jejich omezení u modelů strojového učení

Strategie vydávání a aktualizace modelů

  • Nasazení typu „blue/green“
  • Metody canary nasazení modelů
  • Použití A/B testů při hodnocení modelů

Monitorování a sledovatelnost modelů v produkci

  • Měření výkonu systémů určených k inferenci
  • Praxe týkající se logování a trasování datových toků
  • Vytváření přehledných dashboardů a upozornění na problémy

Bezpečnost a spolehlivost nasazovaných modelů

  • Ochrana koncových bodů modelů před neoprávněným přístupem
  • Nastavení síťových pravidel a kontroly práv uživatelů
  • Zajištění vysoké dostupnosti systému<

Shrnutí kurzu a další kroky

Požadavky

  • Pochopení postupů práce s aplikacemi v kontejnerech
  • Zkušenosti s modely strojového učení naprogramovanými v Pythonu
  • Orientace v základních principech Kubernetes

Cílové skupiny

  • Inženýři pro strojové učení
  • DevOps inženýři
  • Týmy zabývající se vývojem platformy
 14 Hodiny

Počet účastníků


Cena za účastníka

Reference (4)

Nadcházející kurzy

Související kategorie