Zkuste nás kontaktovat

Návrh Školení

Úvod do nasazení modelu Mistral ve velkém měřítku

  • Přehled modelu Mistral Medium 3
  • Srovnání výkonu a nákladů
  • Promyšlení aspektů v rámci podnikového nasazení

Vzory nasazování velkých jazykových modelů

  • Topologie serverování a volba konfigurace
  • Nasazení v lokálním prostředí vs. ve cloudu
  • Strategie hybridního či vícecloudového nasazení

Techniky optimalizace inferencie

  • Dávkovací strategie vedoucí k vysoké propustnosti
  • Metody kvantizace přispívající ke snížení nákladů
  • Využití akcelerátorů a grafických procesorů

Škálovatelnost a spolehlivost systémů

  • Rozšiřování clusterů Kubernetes určených k inferenci
  • Vyvažování zátěže a směrování provozu
  • Odolnost vůči chybám a redundance systémů

Rámcové postupy optimalizace nákladů

  • Měření efektivity nákladů na inferenci
  • Správné určení velikosti výpočetních a paměťových zdrojů
  • Monitorování a upozornění v rámci optimalizace nákladů

Bezpečnost a soulad s předpisy v produkčním prostředí

  • Zajištění bezpečnosti nasazení i rozhraní API
  • Hledisko správy dat a dodržování regulací
  • Splňování právních požadavků v oblasti nákladové optimalizace

Případové studie a osvědčené postupy

  • Referenční architektury pro nasazení modelu Mistral ve velkém měřítku
  • Zkušenosti z podnikových projektů a ponaučení z nich plynoucí
  • Budoucí trendy v oblasti efektivní inference velkých jazykových modelů

Shrnutí a další kroky

Požadavky

  • Hluboké znalosti ohledně nasazování modelů strojového učení
  • Praktické zkušenosti s cloudovou infrastrukturou a distribuovanými systémy
  • Orientace v technikách optimalizace výkonu a snižování nákladů

Cílová skupina

  • Inženýři infrastruktury
  • Cloudoví architekti
  • Vedoucí specialisté MLOps
 14 Hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie