Návrh Školení
Příprava modelů strojového učení k nasazení
- Sbalení modelů do kontejnerů pomocí nástroje Docker
- Export modelů z prostředí TensorFlow a PyTorch
- Hlediska verzování a ukládání dat
Poskytování modelů v Kubernetes
- Přehled serverů určených k inferenci
- Nasazování nástrojů TensorFlow Serving a TorchServe
- Konfigurace koncových bodů modelů
Techniky optimalizace inference
- Strategie seskupování požadavků do várky
- Způsoby zvládání více požadavků současně
- Nastavení hodnot latence a propustnosti systému
Automatické škálování pracovních zátěží strojového učení
- Horizontální podautoskalér (HPA)
- Vertikální podautoskalér (VPA)
- Nástroj Kubernetes Event-Driven Autoscaling (KEDA)
Zajištění dostupnosti GPU a správa zdrojů
- Konfigurace uzlů vybavených GPU
- Přehled pluginu pro zařízení NVIDIA
- Nastavení požadavků na zdroje a jejich omezení u modelů strojového učení
Strategie vydávání a aktualizace modelů
- Nasazení typu „blue/green“
- Metody canary nasazení modelů
- Použití A/B testů při hodnocení modelů
Monitorování a sledovatelnost modelů v produkci
- Měření výkonu systémů určených k inferenci
- Praxe týkající se logování a trasování datových toků
- Vytváření přehledných dashboardů a upozornění na problémy
Bezpečnost a spolehlivost nasazovaných modelů
- Ochrana koncových bodů modelů před neoprávněným přístupem
- Nastavení síťových pravidel a kontroly práv uživatelů
- Zajištění vysoké dostupnosti systému<
Shrnutí kurzu a další kroky
Požadavky
- Pochopení postupů práce s aplikacemi v kontejnerech
- Zkušenosti s modely strojového učení naprogramovanými v Pythonu
- Orientace v základních principech Kubernetes
Cílové skupiny
- Inženýři pro strojové učení
- DevOps inženýři
- Týmy zabývající se vývojem platformy
Reference (4)
základní pochopení kontejnerů/Kubernetes a jejich vzájemné interakce funkce platformy OpenShift
Eric Scholze - NOW IT GmbH
Kurz - Introduction to Containers, Kubernetes & OpenShift
Přeloženo strojem
About the microservices and how to maintenance kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kurz - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Jak vzdělávací specialisté efektivně předávají znalosti
Vu Thoai Le - Reply Polska sp. z o. o.
Kurz - Certified Kubernetes Administrator (CKA) - exam preparation
Přeloženo strojem
Znalost a výměna s Augustinem
Laurent - L'Office national des vacances annuelles (ONVA)
Kurz - Docker and Kubernetes
Přeloženo strojem