Návrh Školení

Vstup do parametricky efektivního Fine-Tuning (PEFT)

  • Motivační aspekty a omezení plného přizpůsobení
  • Přehled PEFT: cíle a výhody
  • Aplikace a užití v průmyslu

LoRA (Low-Rank Adaptation)

  • Koncepce a intuice za LoRA
  • Implementace LoRA pomocí Hugging Face a PyTorch
  • V praxi: Přizpůsobení modelu s využitím LoRA

Tuning adapterů

  • Jak fungují moduly adapterů
  • Integrace do transformerových modelů
  • V praxi: Aplikace tuningu adapterů na transformerový model

Předponové tuningy (Prefix Tuning)

  • Využití měkkých promptů pro přizpůsobení
  • Výhody a omezení v porovnání s LoRA a adaptery
  • V praxi: Předponové tuningy na úkolu LLM

Hodnocení a porovnávání metod PEFT

  • Metry pro hodnocení výkonu a efektivity
  • Kompromisy v rychlosti tréninku, spotřebě paměti a přesnosti
  • Benchmarkové experimenty a interpretace výsledků

Deplojování přizpůsobených modelů

  • Ukládání a načítání přizpůsobených modelů
  • Zvažení pro deplojení PEFT-založených modelů
  • Integrace do aplikací a potrubních systémů

Nejlepší praktiky a rozšíření

  • Kombinování PEFT s kvantizací a destilací
  • Využití v podmínkách s omezenými zdroji a vícejazyčných scénářích
  • Časově aktuální směry a oblasti aktivního výzkumu

Souhrn a další kroky

Požadavky

  • Poznání základů strojového učení
  • Zkušenosti s právem velkých jazykových modelů (LLMs)
  • Znalost Python a PyTorch

Cílová skupina

  • Specialisté v datovém vědeckém oboru
  • Inženýři umělé inteligence
 14 hodiny

Počet účastníků


Price per participant

Upcoming Courses

Související kategorie