Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Doba trvání 14 hodiny
Návrh Školení
Příprava modelů machine learningu pro nasazení
- Balení modelů pomocí Dockeru
- Exportování modelů z TensorFlow a PyTorch
- Verzování a úvaha o úložišti
Servírování modelů na Kubernetes
- Přehled inferenčních serverů
- Nasazování TensorFlow Serving a TorchServe
- Nastavení endpointů modelů
Techniky optimalizace inferencí
- Strategie batchování
- Zpracování konkurentních požadavků
- Ladění latence a throughputu
Automatické škálování ML workloadů
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
Příprava GPU a správa zdrojů
- Konfigurace GPU uzlů
- Přehled NVIDIA device plugin
- Požadavky a limity zdrojů pro ML workloads
Strategie rolloutu a vydávání modelů
- Blue/green deploymenty
- Vzory canary rolloutu
- A/B testování pro hodnocení modelů
Monitoring a pozorovatelnost ML v produkci
- Metрики pro inferenční workloads
- Praxe logování a traceování
- Dashboardy a alarmování
Zvažuji bezpečnost a spolehlivost
- Bezpečnost endpointů modelů
- Sítě politiky a kontrola přístupu
- Zajištění vysoké dostupnosti
Shrnutí a další kroky
Požadavky
- Pochopení procesů kontejnerizovaných aplikací
- Zkušenosti s ML modely založenými na Pythonu
- Znalost základů Kubernetes
Cílová skupina
- Stavbaři ML
- DevOps inženýři
- Platform engineering týmy
Reference (1)
Obzvlášť se mi líbila část školení věnovaná Kubernetesu, protože jsem pracoval na úlohách souvisejících s K8s kontejnery a porty a bylo skvělé získat nyní lepší pochopení tohoto tématu. Děkuji!
Laura Miron - Betfair
Kurz - Docker and Kubernetes
Přeloženo strojem