Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Doba trvání 14 hodiny
Návrh Školení
Úvod do Mistral ve velkém měřítku
- Obecný přehled Mistral Medium 3
- Kompromisy mezi výkonem a náklady
- Zvažování pro podnikové měřítko
Vzorce nasazení pro LLM
- Topologie servírování a designová rozhodnutí
- Nasazení v lokálním prostředí vs. v cloudu
- Hybridní a multicloud strategie
Techniky optimalizace inference
- Strategie sbalování (batching) pro vysokou propustnost
- Metody kvantizace pro snížení nákladů
- Využití akcelerátorů a GPU
Škálovatelnost a spolehlivost
- Škálování Kubernetes klastrů pro inferenci
- Rozložení zátěže a směrování provozu
- Tolerance vůči výpadkům a redundance
Rámce pro inženýrství nákladů
- Měření efektivnosti nákladů na inferenci
- Optimální dimenzování výpočetních a paměťových zdrojů
- Monitorování a upozornění pro optimalizaci
Bezpečnost a soulad s předpisy v produkci
- Zabezpečení nasazení a API
- Zvážení správy dat
- Soulad s regulačními požadavky v inženýrství nákladů
Případové studie a osvědčené postupy
- Referenční architektury pro Mistral ve velkém měřítku
- Poučení z podnikových nasazení
- Budoucí trendy v efektivní inferenci LLM
Shrnutí a další kroky
Požadavky
- Pevné porozumění nasazování modelů strojového učení
- Zkušenosti s cloud infrastrukturou a distribuovanými systémy
- Oznámost se strategiemi ladění výkonu a optimalizace nákladů
Cílová skupina
- Inženýři infrastruktury
- Cloud architekti
- Časové vedoucí MLOps