Zkuste nás kontaktovat

Návrh Školení

Úvod do optimalizace velkých modelů

  • Přehled architektur velkých modelů
  • Obtíže spojené s fine-tunováním velkých modelů
  • Důležitost nákladově efektivní optimalizace

Techniky distribuovaného trénování

  • Základy datového a modelového paralelismu
  • Rámce pro distribuované trénování: PyTorch a TensorFlow
  • Škálování na více GPU a uzlech

Kvantizace a redukce parametrů modelů

  • Přehled technik kvantizace
  • Aplikace redukce parametrů ke zmenšení velikosti modelu
  • Kompromisy mezi přesností a efektivitou

Optimalizace hardwaru

  • Výběr vhodného hardwaru pro účely fine-tunování
  • Zvyšování využití GPU a TPU
  • Používání specializovaných akcelerátorů k optimalizaci velkých modelů

Efektivní správa dat

  • Metody manipulace s rozsáhlými datovými sadami
  • Předzpracování a seskupování dat pro lepší výkon
  • Techniky rozšiřování trénovacích dat

Nasazení optimalizovaných modelů

  • Způsoby nasazení upravených modelů
  • Monitorování a udržování jejich výkonnosti
  • Příklady praktického nasazení optimalizovaných modelů

Pokročilé techniky optimalizace

  • Seznámení s metodou nízkorankové adaptace (LoRA)
  • Využití adaptérů k modulárnímu fine-tunování modelů
  • Budoucí trendy v oblasti optimalizace modelů

Shrnutí a další kroky

Požadavky

  • Praktické zkušenosti s frameworky pro hluboké učení jako PyTorch nebo TensorFlow
  • Orientace ve velkých jazykových modelech a jejich využití
  • Základní znalosti konceptů distribuovaného výpočtu

Cílové skupiny

  • Inženýři v oblasti strojového učení
  • Specialisté na AI ve cloudu
 21 Hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie