Návrh Školení

Úvod do Mistralu v měřítku

  • Přehled Mistral Medium 3
  • Výkonnostní vs. nákladové kompromisy
  • Zvažování při podnikovém nasazení

Nasazení vzorů pro LLMs

  • Topologie a návrhové volby pro servování
  • Nasazení v cloudu vs. na premisách
  • Hybridní a multicloud strategie

Techniky optimalizace inferencí

  • Batching strategie pro vysoký průtok
  • Kvantizační metody pro snižování nákladů
  • Využití akcelerátorů a GPU

Měřítkovost a spolehlivost

  • Škálování Kubernetes clusterů pro inferenci
  • Nabíjecí vyrovnávání a směrování provozu
  • Fault tolerance a redundantnost

Rámce nákladové optimalizace

  • Měření efektivity nákladů na inferenci
  • Optimální velikost výpočetních a paměťových zdrojů
  • Sledování a upozorňování pro optimalizaci

Zajištění bezpečnosti a dodržování předpisů v produkci

  • Zabezpečení nasazení a API
  • Zvažování správy dat
  • Dodržování regulací v nákladové optimalizaci

Případové studie a osvědčené postupy

  • Referenční architektury pro Mistral v měřítku
  • Zkušenosti z podnikových nasazení
  • Budoucí trendy v efektivním servování LLMs

Shrnutí a další kroky

Požadavky

  • Silné pochopení nasazování modelů strojového učení
  • Zkušenosti s cloulovým infrastrukturálním zázemím a distribuovanými systémy
  • Odbornost v optimalizaci výkonu a nákladů

Cílová skupina

  • Infrastrukturální inženýři
  • Architekti cloudu
  • Liderové MLOps
 14 hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie