Zkuste nás kontaktovat

Návrh Školení

Přehled možností optimalizace v rámci CANN

  • Jak se řeší výkon inferencí v prostředí CANN
  • Cíle optimalizace pro okrajové a vestavěné systémy AI
  • Pochopení využití jednotlivých modulů AI Core a alokace paměti

Analýza pomocí Graph Engine

  • Úvod do Graph Enginu a procesu vykonávání výpočtů
  • Zobrazení grafů operátorů a metrik jejich běhu
  • Modifikace výpočtových grafů za účelem optimalizace

Profilovací nástroje a měření výkonu

  • Použití profileru CANN k analýze zátěže systému
  • Analýza času provádění jednotlivých operací a identifikace úzkých míst
  • Profilování přístupu k paměti a strategie jejího využití

Tvorba vlastních operátorů pomocí TIK

  • Přehled TIK a modelu programování operátorů
  • Implementace vlastního operátoru za použití DSL jazyka TIK
  • Otestování a vyhodnocení výkonnosti takto vytvořeného operátoru

Pokročilá optimalizace operátorů pomocí TVM

  • Základní informace o integraci TVM s CANN
  • Strategie automatického ladění výpočtových grafů
  • Kdy a jak přecházet mezi využitím nástrojů TVM a TIK

Techniky optimalizace využívání paměti

  • Správa rozložení dat v paměti a umisťování vyrovnávacích pamětí
  • Způsoby snižování spotřeby interní paměti systému
  • Doporučené postupy pro asynchronní provádění úloh a opakované využití zdrojů

Reálné příklady nasazení a studie případů

  • Příklad: optimalizace výkonu systému sledování městských kamer
  • Příklad: zdokonalení infrastruktury inferencí pro autonomní vozidla
  • Doporučení pro průběžné profilování a další vylepšování systému

Shrnutí a další kroky

Požadavky

  • Pevné znalosti o architektuře hlubokých neuronových sítí a postupech jejich trénování
  • Zkušenosti s nasazováním modelů pomocí CANN, TensorFlow nebo PyTorch
  • Ovládání příkazové řádky v systému Linux, psaní skriptů a programování v Pythonu

Cílová skupina

  • Inženýři zaměření na výkon umělé inteligence
  • Specialisté na optimalizaci inferencí
  • Vývojáři pracující s okrajovou AI nebo reálnými systémy
 14 Hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie