Zkuste nás kontaktovat

Návrh Školení

Úvod do Mistral v měřítku

  • Přehled Mistral Medium 3
  • Kompromisy mezi výkonem a náklady
  • Úvahy o škálování pro podnikové prostředí

Vzorce nasazení pro velké jazykové modely

  • Topologie serverování a volby designu
  • Nasazení na lokálních serverech versus cloud
  • Strategie hybridního a víceclového cloudu

Techniky optimalizace inference

  • Strategie dávkování pro vysokou propustnost
  • Metody kvantizace pro snížení nákladů
  • Využití akcelerátorů a GPU

Škálovatelnost a spolehlivost

  • Škálování Kubernetes clusterů pro inference
  • Robustní load balancing a směrování provozu
  • Odolnost vůči selhání a redundance

Rámce inženýrství nákladů

  • Měření efektivity nákladů na inference
  • Přiměřené nastavení výpočetních zdrojů a paměti
  • Sledování a upozornění pro optimalizaci

Bezpečnost a soulad v produkci

  • Zabezpečení nasazení a API
  • Úvahy o řízení dat
  • Soulad s předpisy v inženýrství nákladů

Případové studie a nejlepší postupy

  • Referenční architektury pro Mistral v měřítku
  • Poznámky z nasazení v podnicích
  • Budoucí trendy v efektivním inference velkých jazykových modelů

Shrnutí a další kroky

Požadavky

  • Silné porozumění nasazování strojových modelů
  • Zkušenosti s cloudovou infrastrukturou a distribuovanými systémy
  • Seznámení s strategiemi ladění výkonu a optimalizace nákladů

Cílová skupina

  • Inženýři infrastruktury
  • Architekti cloudu
  • Vedoucí týmů MLOps
 14 Hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie