Návrh Školení

Úvod

    Přehled výzev pro škálování hlubokého učení Přehled DeepSpeed a jeho funkcí DeepSpeed vs. jiné distribuované knihovny hlubokého učení

Začínáme

    Nastavení vývojového prostředí Instalace PyTorch a DeepSpeed Konfigurace DeepSpeed pro distribuované školení

Funkce optimalizace DeepSpeed

    Tréninkové potrubí DeepSpeed ZeRO (optimalizace paměti) Kontrolní bod aktivace Kontrolní bod přechodu Paralelnost potrubí

Měřítko modelů s DeepSpeed

    Základní škálování pomocí DeepSpeed Pokročilé techniky škálování Aspekty výkonu a osvědčené postupy Techniky ladění a odstraňování problémů

Pokročilá témata DeepSpeed

    Pokročilé optimalizační techniky Použití DeepSpeed se smíšeným přesným tréninkem DeepSpeed na různém hardwaru (např. GPUs, TPU) DeepSpeed s více tréninkovými uzly

Integrace DeepSpeed s PyTorch

    Integrace pracovních postupů DeepSpeed s PyTorch Pomocí DeepSpeed s PyTorch Lightning

Odstraňování problémů

    Ladění běžných problémů DeepSpeed Monitorování a protokolování

Shrnutí a další kroky

    Shrnutí klíčových pojmů a funkcí Osvědčené postupy pro používání DeepSpeed v produkci Další zdroje pro další informace o DeepSpeed

Požadavky

  • Středně pokročilá znalost principů hlubokého učení
  • Zkušenosti s PyTorch nebo podobnými rámci hlubokého učení
  • Znalost programování v Pythonu

Publikum

  • Datoví vědci
  • Inženýři strojového učení
  • Vývojáři
 21 hodiny

Počet účastníků



Price per participant

Související kurzy

Související kategorie