Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Zavedení
- Přehled problémů škálování hlubokého učení
- Přehled DeepSpeed a jeho funkcí
- DeepSpeed vs. jiné distribuované knihovny hlubokého učení
Začínáme
- Nastavení vývojového prostředí
- Instalace PyTorch a DeepSpeed
- Konfigurace DeepSpeed pro distribuované školení
Funkce optimalizace DeepSpeed
- Tréninkový kanál DeepSpeed
- ZeRO (optimalizace paměti)
- Kontrolní bod aktivace
- Přechodový kontrolní bod
- Rovnoběžnost potrubí
Měřítko modelů s DeepSpeed
- Základní škálování pomocí DeepSpeed
- Pokročilé techniky škálování
- Úvahy o výkonu a osvědčené postupy
- Techniky ladění a odstraňování problémů
Pokročilá témata DeepSpeed
- Pokročilé optimalizační techniky
- Použití DeepSpeed se smíšeným tréninkem přesnosti
- DeepSpeed na různém hardwaru (např. GPUs, TPU)
- DeepSpeed s více tréninkovými uzly
Integrace DeepSpeed s PyTorch
- Integrace DeepSpeed s pracovními postupy PyTorch
- Použití DeepSpeed s PyTorch Lightning
Odstraňování problémů
- Ladění běžných problémů DeepSpeed
- Monitorování a protokolování
Shrnutí a další kroky
- Shrnutí klíčových pojmů a funkcí
- Doporučené postupy pro používání DeepSpeed v produkci
- Další zdroje informací o DeepSpeed
Požadavky
- Středně pokročilá znalost principů hlubokého učení
- Zkušenosti s PyTorch nebo podobnými rámci hlubokého učení
- Znalost programování Python
Publikum
- Datoví vědci
- Inženýři strojového učení
- Vývojáři
21 hodiny
Reference (2)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Kurz - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.