Zkuste nás kontaktovat
 Doba trvání 14 hodiny

Návrh Školení

Úvod do Mistral ve velkém měřítku

  • Obecný přehled Mistral Medium 3
  • Kompromisy mezi výkonem a náklady
  • Zvažování pro podnikové měřítko

Vzorce nasazení pro LLM

  • Topologie servírování a designová rozhodnutí
  • Nasazení v lokálním prostředí vs. v cloudu
  • Hybridní a multicloud strategie

Techniky optimalizace inference

  • Strategie sbalování (batching) pro vysokou propustnost
  • Metody kvantizace pro snížení nákladů
  • Využití akcelerátorů a GPU

Škálovatelnost a spolehlivost

  • Škálování Kubernetes klastrů pro inferenci
  • Rozložení zátěže a směrování provozu
  • Tolerance vůči výpadkům a redundance

Rámce pro inženýrství nákladů

  • Měření efektivnosti nákladů na inferenci
  • Optimální dimenzování výpočetních a paměťových zdrojů
  • Monitorování a upozornění pro optimalizaci

Bezpečnost a soulad s předpisy v produkci

  • Zabezpečení nasazení a API
  • Zvážení správy dat
  • Soulad s regulačními požadavky v inženýrství nákladů

Případové studie a osvědčené postupy

  • Referenční architektury pro Mistral ve velkém měřítku
  • Poučení z podnikových nasazení
  • Budoucí trendy v efektivní inferenci LLM

Shrnutí a další kroky

Požadavky

  • Pevné porozumění nasazování modelů strojového učení
  • Zkušenosti s cloud infrastrukturou a distribuovanými systémy
  • Oznámost se strategiemi ladění výkonu a optimalizace nákladů

Cílová skupina

  • Inženýři infrastruktury
  • Cloud architekti
  • Časové vedoucí MLOps

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie