Návrh Školení
Příprava ML modelů na nasazení
- Balení modelů s Dockerem
- Exportování modelů z TensorFlow a PyTorch
- Aspekty verzování a úložišťe
Servírování modelů na Kubernetes
- Přehled inferenčních serverů
- Nasazení TensorFlow Serving a TorchServe
- Nastavení koncových bodů modelů
Techniky optimalizace inferencí
- Strategie dávkování
- Zpracování souběžných požadavků
- Nastavení latence a propustnosti
Autoscaling ML úloh
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Zřizování a správa zdrojů GPU
- Konfigurace uzlů s GPU
- Přehled pluginu zařízení NVIDIA
- Požadavky a limity zdrojů pro ML úlohy
Strategie nasazení a uvolňování modelů
- Blue/green deployments
- Mvětřené rollout vzory (canary)
- A/B testování pro hodnocení modelů
Monitoring a sledovatelnost ML v produkci
- Metriky pro úlohy inferencí
- Praxe logování a trasování
- Řídicí panely a alarmy
Aspekty bezpečnosti a spolehlivosti
- Zabezpečení koncových bodů modelů
- Síťové zásady a řízení přístupu
- Zajištění vysoké dostupnosti
Shrnutí a další kroky
Požadavky
- Pochopení pracovních postupů kontejnerizovaných aplikací
- Zkušenosti s ML modely založenými na Pythonu
- Odbornost v základech Kubernetes
Cílová skupina
- Inženýři ML (Machine Learning)
- DevOps inženýři
- Týmy platformového inženýrství
Reference (5)
Interaktivita, ne čtení slajdů celý den
Emilien Bavay - IRIS SA
Kurz - Kubernetes Advanced
Přeloženo strojem
byl trpělivý a chápal, že zaostáváme
Albertina - REGNOLOGY ROMANIA S.R.L.
Kurz - Deploying Kubernetes Applications with Helm
Přeloženo strojem
Trenink byl praktičtější.
Siphokazi Biyana - Vodacom SA
Kurz - Kubernetes on AWS
Přeloženo strojem
Učení se o Kubernetes.
Felix Bautista - SGS GULF LIMITED ROHQ
Kurz - Kubernetes on Azure (AKS)
Přeloženo strojem
Poskytlo solidní základ pro Docker a Kubernetes.
Stephen Dowdeswell - Global Knowledge Networks UK
Kurz - Docker (introducing Kubernetes)
Přeloženo strojem