Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Koncepce a metricky výkonu
- Latence, propustnost, spotřeba energie, využití zdrojů
- Systémová vs. modelová úzká místa
- Profilování pro inferenci vs. trénování
Profilování na Huawei Ascend
- Používání CANN Profiler a MindInsight
- Diagnostika jádřa a operátorů
- Modely offloadu a mapování paměti
Profilování na Biren GPU
- Možnosti monitorování výkonu v Biren SDK
- Fúze jádřa, zarovnání paměti a execuce queue
- Profilování s ohledem na výkon a teplotu
Profilování na Cambricon MLU
- Prostředí pro výkon BANGPy a Neuware
- Viditelnost na úrovni jádřa a interpretace logů
- Integrace MLU profileru s frameworky pro nasazení
Optimalizace na úrovni grafu a modelu
- Strategie řezání grafů a kvantizace
- Fúze operátorů a rekonstrukce výpočetního grafu
- Standardizace velikosti vstupů a ladení batchů
Optimalizace paměti a jádřa
- Optimalizace rozložení a znovuutilizace paměti
- Účinná správa bufferů napříč sadami čipů
- Techniky ladění na úrovni jádřa pro jednotlivé platformy
Nejlepší praktiky napříč platformami
- Přenositelnost výkonu: strategie abstrakce
- Vytváření sdílených pipeline pro ladění v multi-chipových prostředích
- Příklad: ladění modelu detekce objektů na Ascend, Biren a MLU
Shrnutí a další kroky
Požadavky
- Zkušenosti s trénováním AI modelů nebo jejich deploymentem
- Pochopení výpočetních principů GPU/MLU a optimalizace modelů
- Základní znalost nástrojů pro profilování výkonu a metrik
Cílová skupina
- Inženýři optimalizace výkonu
- Týmy infrastrukturní podpory strojového učení
- Architekti systémů AI
21 Hodiny
