Návrh Školení
Zavedení
- Přehled problémů škálování hlubokého učení
- Přehled DeepSpeed a jeho funkcí
- DeepSpeed vs. jiné distribuované knihovny hlubokého učení
Začínáme
- Nastavení vývojového prostředí
- Instalace PyTorch a DeepSpeed
- Konfigurace DeepSpeed pro distribuované školení
Funkce optimalizace DeepSpeed
- Tréninkový kanál DeepSpeed
- ZeRO (optimalizace paměti)
- Kontrolní bod aktivace
- Přechodový kontrolní bod
- Rovnoběžnost potrubí
Měřítko modelů s DeepSpeed
- Základní škálování pomocí DeepSpeed
- Pokročilé techniky škálování
- Úvahy o výkonu a osvědčené postupy
- Techniky ladění a odstraňování problémů
Pokročilá témata DeepSpeed
- Pokročilé optimalizační techniky
- Použití DeepSpeed se smíšeným tréninkem přesnosti
- DeepSpeed na různém hardwaru (např. GPUs, TPU)
- DeepSpeed s více tréninkovými uzly
Integrace DeepSpeed s PyTorch
- Integrace DeepSpeed s pracovními postupy PyTorch
- Použití DeepSpeed s PyTorch Lightning
Odstraňování problémů
- Ladění běžných problémů DeepSpeed
- Monitorování a protokolování
Shrnutí a další kroky
- Shrnutí klíčových pojmů a funkcí
- Doporučené postupy pro používání DeepSpeed v produkci
- Další zdroje informací o DeepSpeed
Požadavky
- Středně pokročilá znalost principů hlubokého učení
- Zkušenosti s PyTorch nebo podobnými rámci hlubokého učení
- Znalost programování Python
Publikum
- Datoví vědci
- Inženýři strojového učení
- Vývojáři
Reference (3)
Opravdu jsem se líbil konec, kdy jsme si vyzkoušeli CHAT GPT. Místnost nebyla pro toto cvičení nejlepší nastavená - místo jednoho velkého stolu by pomohlo několik menších stolů, abychom se mohli rozdělit do menších skupin a společně přemýšlet.
Nola - Laramie County Community College
Kurz - Artificial Intelligence (AI) Overview
Přeloženo strojem
Práce na základě prvních principů s cíleným zaměřením a následné aplikace případových studií v rámci stejného dne
Maggie Webb - Department of Jobs, Regions, and Precincts
Kurz - Artificial Neural Networks, Machine Learning, Deep Thinking
Přeloženo strojem
Že se používala skutečná společenská data. Trainer měl velmi dobrý přístup tím, že tréninky podporoval účastí a soutěží.
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
Kurz - Applied AI from Scratch in Python
Přeloženo strojem