Optimalizace výkonu neuronových sítí pomocí CANN SDK Počítačový Kurz

Přehled možností optimalizace v CANN

• Jak je výkon inferenčních úloh zpracovávan v CANN
• Cíle optimalizace pro edge a vestavěné AI systémy
• Rozumění využití AI Core a alokaci paměti

Používání Graph Engine pro analýzu

• Úvod do Graph Engine a výkonnostního potrubí
• Vizualizace grafů operátorů a běhových metrik
• Úprava výpočetních grafů pro optimalizaci

Profilační nástroje a metriky výkonu

• Použití nástroje CANN Profiling Tool (profiler) pro analýzu zátěže
• Analýza času běhu kernelů a láhv na výkon
• Profilování přístupu k paměti a strategie dlaždicování

Vývoj vlastních operátorů pomocí TIK

• Přehled TIK a modelu programování operátorů
• Implementace vlastního operátoru pomocí TIK DSL
• Testování a benchmarkování výkonu operátorů

Pokročilá optimalizace operátorů pomocí TVM

• Úvod k integraci TVM s CANN
• Strategie automatického ladění pro výpočetní grafy
• Kdy a jak přepínat mezi TVM a TIK

Techniky optimalizace paměti

• Správa rozložení paměti a umísťování bufferů
• Techniky pro snížení spotřeby paměti na čipu
• Nejlepší postupy pro asynchronní provádění a opakované použití

Skutečné nasazení a case studies

• Case study: ladění výkonu pipeline kamer pro chytrá města
• Case study: optimalizace inferenčního stacku autonomních vozidel
• Rady pro iterativní profilování a průběžné zlepšování

Shrnutí a další kroky