Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Úvod do nasazení modelu Mistral ve velkém měřítku
- Přehled modelu Mistral Medium 3
- Srovnání výkonu a nákladů
- Promyšlení aspektů v rámci podnikového nasazení
Vzory nasazování velkých jazykových modelů
- Topologie serverování a volba konfigurace
- Nasazení v lokálním prostředí vs. ve cloudu
- Strategie hybridního či vícecloudového nasazení
Techniky optimalizace inferencie
- Dávkovací strategie vedoucí k vysoké propustnosti
- Metody kvantizace přispívající ke snížení nákladů
- Využití akcelerátorů a grafických procesorů
Škálovatelnost a spolehlivost systémů
- Rozšiřování clusterů Kubernetes určených k inferenci
- Vyvažování zátěže a směrování provozu
- Odolnost vůči chybám a redundance systémů
Rámcové postupy optimalizace nákladů
- Měření efektivity nákladů na inferenci
- Správné určení velikosti výpočetních a paměťových zdrojů
- Monitorování a upozornění v rámci optimalizace nákladů
Bezpečnost a soulad s předpisy v produkčním prostředí
- Zajištění bezpečnosti nasazení i rozhraní API
- Hledisko správy dat a dodržování regulací
- Splňování právních požadavků v oblasti nákladové optimalizace
Případové studie a osvědčené postupy
- Referenční architektury pro nasazení modelu Mistral ve velkém měřítku
- Zkušenosti z podnikových projektů a ponaučení z nich plynoucí
- Budoucí trendy v oblasti efektivní inference velkých jazykových modelů
Shrnutí a další kroky
Požadavky
- Hluboké znalosti ohledně nasazování modelů strojového učení
- Praktické zkušenosti s cloudovou infrastrukturou a distribuovanými systémy
- Orientace v technikách optimalizace výkonu a snižování nákladů
Cílová skupina
- Inženýři infrastruktury
- Cloudoví architekti
- Vedoucí specialisté MLOps
14 Hodiny