Návrh Školení
Příprava modelů machine learningu pro nasazení
- Balení modelů pomocí Dockeru
- Exportování modelů z TensorFlow a PyTorch
- Verzování a úvaha o úložišti
Servírování modelů na Kubernetes
- Přehled inferenčních serverů
- Nasazování TensorFlow Serving a TorchServe
- Nastavení endpointů modelů
Techniky optimalizace inferencí
- Strategie batchování
- Zpracování konkurentních požadavků
- Ladění latence a throughputu
Automatické škálování ML workloadů
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Příprava GPU a správa zdrojů
- Konfigurace GPU uzlů
- Přehled NVIDIA device plugin
- Požadavky a limity zdrojů pro ML workloads
Strategie rolloutu a vydávání modelů
- Blue/green deploymenty
- Vzory canary rolloutu
- A/B testování pro hodnocení modelů
Monitoring a pozorovatelnost ML v produkci
- Metрики pro inferenční workloads
- Praxe logování a traceování
- Dashboardy a alarmování
Zvažuji bezpečnost a spolehlivost
- Bezpečnost endpointů modelů
- Sítě politiky a kontrola přístupu
- Zajištění vysoké dostupnosti
Shrnutí a další kroky
Požadavky
- Pochopení procesů kontejnerizovaných aplikací
- Zkušenosti s ML modely založenými na Pythonu
- Znalost základů Kubernetes
Cílová skupina
- Stavbaři ML
- DevOps inženýři
- Platform engineering týmy
Reference (4)
základní pochopení kontejnerů/Kubernetes a jejich vzájemné interakce funkce platformy OpenShift
Eric Scholze - NOW IT GmbH
Kurz - Introduction to Containers, Kubernetes & OpenShift
Přeloženo strojem
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kurz - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Jak vzdělávací specialisté efektivně předávají znalosti
Vu Thoai Le - Reply Polska sp. z o. o.
Kurz - Certified Kubernetes Administrator (CKA) - exam preparation
Přeloženo strojem
Znalost a výměna s Augustinem
Laurent - L'Office national des vacances annuelles (ONVA)
Kurz - Docker and Kubernetes
Přeloženo strojem