Návrh Školení

Výkonnostní koncepty a metriky

  • Zpoždění, průměrná propustnost, spotřeba energie, využití zdrojů
  • Systémové oproti modelovým hruškám
  • Profiling pro odvozování a trénování

Profiling na Huawei Ascend

  • Použití CANN Profileru a MindInsightu
  • Diagnostics jádra a operátorů
  • Vyúčtovací vzory a mapování paměti

Profiling na Biren GPU

  • Funkce sledování výkonu Biren SDK
  • Spojování jádra, zarovnávání paměti a fronty provádění
  • Výkonnostní profiling se zohledněním energie a teploty

Profiling na Cambricon MLU

  • Nástroje pro výkon BANGPy a Neuware
  • Zobrazitelnost a interpretace protokolů jádra
  • Integrace profileru MLU s rámci nasazení

Optimalizace na úrovni grafu a modelu

  • Taktiky odstranění části grafu a kvantifikace
  • Spouštění operátorů a reorganizace výpočetního grafu
  • Normalizace velikosti vstupu a tunování dávek

Paměťové a jádrové optimalizace

  • Optimalizace rozvržení a opakovatelné použití paměti
  • Efektivní správa vyrovnávacích pamětí mezi čipůmi
  • Tunovací techniky jádra pro každou platformu

Nejlepší postupy pro víceplatformní prostředí

  • Movnost výkonu: strategie abstrakce
  • Vytváření sdílených tunovacích plynovodů pro prostředí s více čipy
  • Příklad: tunování modelu detekce objektů mezi Ascend, Biren a MLU

Souhrn a další kroky

Požadavky

  • Zkušenosti s trénováním nebo nasazováním AI modelů v rámci potrubí (pipelines)
  • Počínání se principy výpočetních zařízení GPU/MLU a optimalizací modelů
  • Základní znalost nástrojů pro profilaci výkonu a metrik

Cílová skupina

  • Inženýři pro výkon
  • Týmy infrastruktury strojového učení
  • Aktivní architektové systémů AI
 21 hodiny

Počet účastníků


Price per participant

Upcoming Courses

Související kategorie