Zkuste nás kontaktovat

Návrh Školení

Úvod do efektivního ladění parametrů (PEFT)

  • Motivace a omezení plného ladění
  • Přehled PEFT: cíle a výhody
  • Aplikace a případové studie v průmyslu

LoRA (Low-Rank Adaptation)

  • Koncepce a intuice za LoRA
  • Implementace LoRA pomocí Hugging Face a PyTorch
  • Praktické: Ladění modelu s LoRA

Adapter Tuning

  • Jak fungují moduly adaptérů
  • Integrace do modelů založených na transfomeru
  • Praktické: Aplikace Adapter Tuning na transfomer model

Prefix Tuning

  • Použití měkkých promptů pro ladění
  • Přednosti a omezení ve srovnání s LoRA a adaptérů
  • Praktické: Prefix Tuning na LLM úloze

Hodnocení a srovnávání PEFT metod

  • Metrika pro hodnocení výkonu a efektivnosti
  • Kompromisy v rychlosti tréninku, využití paměti a přesnosti
  • Porovnávání experimentů a interpretace výsledků

Nasazení laděných modelů

  • Ukládání a načítání laděných modelů
  • Zvažování při nasazení modelů založených na PEFT
  • Integrace do aplikací a potrubí

Nejlepší praktiky a rozšíření

  • Kombinace PEFT s kvantizací a distilací
  • Použití v nízkorozpočtových a vícejazyčných prostředích
  • Budoucí směry a aktivity ve výzkumu

Přehled a další kroky

Požadavky

  • Porozumění základům strojového učení
  • Zkušenosti s prací s velkými jazykovými modely (LLMs)
  • Seznámenost s Pythonem a PyTorch

Cílová skupina

  • Data vědci
  • AI inženýři
 14 Hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie