Návrh Školení

Úvod do vývoje vlastních operátorů

  • Proč vytvářet vlastní operátory? Případové studie a omezení
  • Struktura běhu CANN a integrace bodů pro operátory
  • Přehled TBE, TIK a TVM v ekosystému AI společnosti Huawei

Použití TIK pro nízkorozsahový operátor Programming

  • Porozumění programovacímu modelu TIK a podporovaných API
  • Správa paměti a strategie tiling v TIK
  • Vytváření, kompilace a registrace vlastního operátoru s CANN

Testování a validace vlastních operátorů

  • Jednotkové testy a integrační testy operátorů v grafu
  • Ladicí problémy s výkonem na úrovni jádra
  • Vizuální zobrazení provádění operátorů a chování bufferů

Scheduling a optimalizace založené na TVM

  • Přehled TVM jako kompilátoru pro tenzorové operátory
  • Napsání plánování pro vlastní operátor v TVM
  • Optimalizace, benchmarking a generování kódu TVM pro Ascend

Integrace s rámci a modely

  • Registrace vlastních operátorů pro MindSpore a ONNX
  • Ověření integrity modelu a chování fallback
  • Podpora grafů s více operátory se smíšenou přesností

Případové studie a specializovaná optimalizace

  • Případová studie: vysoký efektivní konvoluční operátor pro malé tvarové vstupy
  • Případová studie: optimalizace paměťově povědomých pozornostních operátorů
  • Nejlepší praktiky nasazování vlastních operátorů na různé zařízení

Shrnutí a další kroky

Požadavky

  • Silná znalost interních struktur AI modelů a výpočetní úrovně operátorů
  • Zkušenosti s vývojovými prostředími Python a Linux
  • Znalost kompilátorů neuronových sítí nebo optimalizátorů na úrovni grafu

Cílová skupina

  • Kompilátorský inženýři pracující s AI nástroji
  • Vývojáři systémů zaměření na nižší úroveň optimalizací pro umělou inteligenci
  • Vývojáři sestavující vlastní operátory nebo pracující s novými AI úlohami
 14 hodiny

Počet účastníků


Price per participant

Upcoming Courses

Související kategorie