Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Návrh Školení
Úvod
- Přehled výzev pro škálování hlubokého učení Přehled DeepSpeed a jeho funkcí DeepSpeed vs. jiné distribuované knihovny hlubokého učení
Začínáme
- Nastavení vývojového prostředí Instalace PyTorch a DeepSpeed Konfigurace DeepSpeed pro distribuované školení
Funkce optimalizace DeepSpeed
- Tréninkové potrubí DeepSpeed ZeRO (optimalizace paměti) Kontrolní bod aktivace Kontrolní bod přechodu Paralelnost potrubí
Měřítko modelů s DeepSpeed
- Základní škálování pomocí DeepSpeed Pokročilé techniky škálování Aspekty výkonu a osvědčené postupy Techniky ladění a odstraňování problémů
Pokročilá témata DeepSpeed
- Pokročilé optimalizační techniky Použití DeepSpeed se smíšeným přesným tréninkem DeepSpeed na různém hardwaru (např. GPUs, TPU) DeepSpeed s více tréninkovými uzly
Integrace DeepSpeed s PyTorch
- Integrace pracovních postupů DeepSpeed s PyTorch Pomocí DeepSpeed s PyTorch Lightning
Odstraňování problémů
- Ladění běžných problémů DeepSpeed Monitorování a protokolování
Shrnutí a další kroky
- Shrnutí klíčových pojmů a funkcí Osvědčené postupy pro používání DeepSpeed v produkci Další zdroje pro další informace o DeepSpeed
Požadavky
- Středně pokročilá znalost principů hlubokého učení
- Zkušenosti s PyTorch nebo podobnými rámci hlubokého učení
- Znalost programování v Pythonu
Publikum
- Datoví vědci
- Inženýři strojového učení
- Vývojáři
21 hodiny