Návrh Školení
Základy hybridního nasazení AI
- Pochopení hybridních, cloudových a hraničních modelů nasazení
- Charakteristiky pracovních postupů AI a omezení infrastruktury
- Výběr správné topologie nasazení
Kontejnerizace pracovních postupů AI pomocí Dockeru
- Vytváření kontejnerů pro GPU a CPU inference
- Správa bezpečných imagí a registru imagí
- Implementace reprodukovatelných prostředí pro AI
Nasazování AI služeb do cloudových prostředí
- Spouštění inference na AWS, Azure a GCP pomocí Dockeru
- Zřizování cloudové výpočetní kapacity pro servování modelů
- Bezpečení cloudových AI koncových bodů
Techniky nasazení na hranici a místně
- Spouštění AI na IoT zařízeních, bráncích a mikroserverech
- Lehké běhové prostředí pro hraniční prostředí
- Správa přerušovaných spojení a místní trvalosti dat
Hybridní sítě a bezpečná konfigurace
- Bezpečné tunelování mezi hranicí a cloudem
- Certifikáty, tajné kódy a přístup založený na tokenech
- Optimalizace výkonu pro nízkolatentní inference
Orchestrace distribuovaných nasazení AI
- Použití K3s, K8s nebo lehké orchestrační nástroje pro hybridní nastavení
- Zjišťování služeb a plánování pracovních postupů
- Automatizace strategií rolloutu pro multi-místní prostředí
Monitorování a observabilita napříč prostředími
- Sledování výkonu inference napříč lokacemi
- Centralizované záznamy pro hybridní AI systémy
- Detekce selhání a automatizovaná obnova
Škálování a optimalizace hybridních AI systémů
- Škálování clusterů na hranici a cloudových uzlů
- Optimalizace využití šířky pásma a cachování
- Balancování výpočetních zatěží mezi cloudem a hranicí
Shrnutí a další kroky
Požadavky
- Pochopení konceptů kontejnerizace
- Zkušenosti s operacemi na příkazové řádce v Linuxu
- Oboznámění se pracovními postupy nasazení AI modelů
Účastníci
- Architekti infrastruktury
- Inženýři spolehlivosti webu (SREs)
- Vývojáři hraničních technologií a IoT
Reference (3)
Jak vzdělávací specialisté efektivně předávají znalosti
Vu Thoai Le - Reply Polska sp. z o. o.
Kurz - Certified Kubernetes Administrator (CKA) - exam preparation
Přeloženo strojem
Instruktor měl hodně znalostí a trpělivosti, které s námi chtěl sdílet.
Bogdan Olaru
Kurz - Introduction to Docker
Přeloženo strojem
Znalost a výměna s Augustinem
Laurent - L'Office national des vacances annuelles (ONVA)
Kurz - Docker and Kubernetes
Přeloženo strojem