Návrh Školení

Přehled optimalizačních schopností CANN

  • Jak je výkon odvodování zpracováván v CANN
  • Cíle optimalizace pro AI systémy na hraničním a zařízeních
  • Pochopení využití AI Core a alokace paměti

Používání Grafického engine pro analýzu

  • Úvod do Grafického engine a prováděcí pipeline
  • Vizualizace operátorových grafů a metrik runtime
  • Modifikace výpočetních grafů pro optimalizaci

Nástroje profilování a metriky výkonu

  • Použití nástroje CANN Profiling Tool (profiler) pro analýzu zátěže
  • Analýza času vykonávání jádra a hlců
  • Profilování přístupu k paměti a strategie tilingu

Vývoj vlastních operátorů s TIK

  • Přehled o TIK a modelu programování operátorů
  • Implementace vlastního operátoru pomocí TIK DSL
  • Testování a benchmarkové měření výkonu operátoru

Pokročilá optimalizace operátorů s TVM

  • Úvod do integrace TVM s CANN
  • Autoražné strategie pro výpočetní grafy
  • Kdy a jak přepínat mezi TVM a TIK

Techniky optimalizace paměti

  • Správa rozvržení paměti a umístění bufferu
  • Techniky snižování spotřeby vnitročipové paměti
  • Dobré praktiky pro asynchronní spuštění a opakováno použití

Skutečné nasazení a případové studie

  • Případový scénář: optimalizace výkonu pro směrovací systém městských kamer
  • Případový scénář: optimalizace zásobníku inference autonomních vozidel
  • Návody pro iterativní profilování a neustálé zlepšení

Shrnutí a další kroky

Požadavky

  • Silná znalost architektur modelů hlubokého učení a pracovních postupů pro jejich trénování
  • Zkušenosti s nasazením modelu pomocí CANN, TensorFlow nebo PyTorch
  • znalost CLI, shell scripting a programování v Python

Cílová skupina

  • Inženýři pro výkon AI
  • Odborníci na optimalizaci inferencí
  • Vývojáři pracující s AI na okraji nebo systémy v reálném čase
 14 hodiny

Počet účastníků


Price per participant

Upcoming Courses

Související kategorie