Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Úvod do parametricky efektivního doladování (PEFT)
- Motivace a omezení plného doladování
- Přehled PEFT: cíle a výhody
- Aplikace a use-case v průmyslu
LoRA (Low-Rank Adaptation)
- Koncept a intuice za LoRA
- Implementace LoRA pomocí Hugging Face a PyTorch
- Praктика: Doladování modelu pomocí LoRA
Adapter Tuning
- Jak fungují adaptérové moduly
- Integrace s modely založenými na transformerech
- Praктика: Aplikace Adapter Tuning na transformerový model
Prefix Tuning
- Používání měkkých promptů pro doladování
- Silné stránky a omezení oproti LoRA a adaptérům
- Praктика: Prefix Tuning na úkolech LLM
Hodnocení a srovnávání metod PEFT
- Metriky pro hodnocení výkonu a efektivity
- Kompromisy v rychlosti tréninku, využití paměti a přesnosti
- Benchmarkingové experimenty a interpretace výsledků
Nasazení doladěných modelů
- Ukládání a načítání doladěných modelů
- Zvažení aspektů nasazení pro modely založené na PEFT
- Integrace do aplikací a pipeline
Nejlepší praktiky a rozšíření
- Kombinace PEFT s kvantizací a destilací
- Použití v nízkorezourcových a mnohajazykových scénářích
- Budoucí směry a aktivní oblasti výzkumu
Požadavky
- Pochopení základů strojového učení
- Zkušenosti s prací s velkými jazykovými modely (LLM)
- Znalost Pythonu a PyTorch
Cílová skupina
- Daové vědci
- Inženýři AI
14 Hodiny
