Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Návrh Školení
Přehled optimalizačních schopností CANN
- Jak je výkon odvodování zpracováván v CANN
- Cíle optimalizace pro AI systémy na hraničním a zařízeních
- Pochopení využití AI Core a alokace paměti
Používání Grafického engine pro analýzu
- Úvod do Grafického engine a prováděcí pipeline
- Vizualizace operátorových grafů a metrik runtime
- Modifikace výpočetních grafů pro optimalizaci
Nástroje profilování a metriky výkonu
- Použití nástroje CANN Profiling Tool (profiler) pro analýzu zátěže
- Analýza času vykonávání jádra a hlců
- Profilování přístupu k paměti a strategie tilingu
Vývoj vlastních operátorů s TIK
- Přehled o TIK a modelu programování operátorů
- Implementace vlastního operátoru pomocí TIK DSL
- Testování a benchmarkové měření výkonu operátoru
Pokročilá optimalizace operátorů s TVM
- Úvod do integrace TVM s CANN
- Autoražné strategie pro výpočetní grafy
- Kdy a jak přepínat mezi TVM a TIK
Techniky optimalizace paměti
- Správa rozvržení paměti a umístění bufferu
- Techniky snižování spotřeby vnitročipové paměti
- Dobré praktiky pro asynchronní spuštění a opakováno použití
Skutečné nasazení a případové studie
- Případový scénář: optimalizace výkonu pro směrovací systém městských kamer
- Případový scénář: optimalizace zásobníku inference autonomních vozidel
- Návody pro iterativní profilování a neustálé zlepšení
Shrnutí a další kroky
Požadavky
- Silná znalost architektur modelů hlubokého učení a pracovních postupů pro jejich trénování
- Zkušenosti s nasazením modelu pomocí CANN, TensorFlow nebo PyTorch
- znalost CLI, shell scripting a programování v Python
Cílová skupina
- Inženýři pro výkon AI
- Odborníci na optimalizaci inferencí
- Vývojáři pracující s AI na okraji nebo systémy v reálném čase
14 hodiny