Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Návrh Školení
Zavedení
- Přehled problémů škálování hlubokého učení
- Přehled DeepSpeed a jeho funkcí
- DeepSpeed vs. jiné distribuované knihovny hlubokého učení
Začínáme
- Nastavení vývojového prostředí
- Instalace PyTorch a DeepSpeed
- Konfigurace DeepSpeed pro distribuované školení
Funkce optimalizace DeepSpeed
- Tréninkový kanál DeepSpeed
- ZeRO (optimalizace paměti)
- Kontrolní bod aktivace
- Přechodový kontrolní bod
- Rovnoběžnost potrubí
Měřítko modelů s DeepSpeed
- Základní škálování pomocí DeepSpeed
- Pokročilé techniky škálování
- Úvahy o výkonu a osvědčené postupy
- Techniky ladění a odstraňování problémů
Pokročilá témata DeepSpeed
- Pokročilé optimalizační techniky
- Použití DeepSpeed se smíšeným tréninkem přesnosti
- DeepSpeed na různém hardwaru (např. GPUs, TPU)
- DeepSpeed s více tréninkovými uzly
Integrace DeepSpeed s PyTorch
- Integrace DeepSpeed s pracovními postupy PyTorch
- Použití DeepSpeed s PyTorch Lightning
Odstraňování problémů
- Ladění běžných problémů DeepSpeed
- Monitorování a protokolování
Shrnutí a další kroky
- Shrnutí klíčových pojmů a funkcí
- Doporučené postupy pro používání DeepSpeed v produkci
- Další zdroje informací o DeepSpeed
Požadavky
- Středně pokročilá znalost principů hlubokého učení
- Zkušenosti s PyTorch nebo podobnými rámci hlubokého učení
- Znalost programování Python
Publikum
- Datoví vědci
- Inženýři strojového učení
- Vývojáři
21 hodiny
Reference (2)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Kurz - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.