Klasifikace zvuku a detekce událostí pomocí ML Počítačový Kurz

Základy klasifikace zvuku

• Typy zvukových událostí: environmentální, mechanické, lidské
• Přehled případů použití: dohled, monitorování, automatizace
• Klasifikace zvuku vs. detekce vs. segmentace

Audio data a extrakce funkcí

• Typy a formáty audio souborů
• Zvažování vzorkovací frekvence, oken a velikosti rámce
• Extrakce MFCC, chroma funkcí a mel-spektrogramů

Příprava a anotace dat

• Datové sady UrbanSound8K, ESC-50 a vlastní sady
• Označování zvukových událostí a časových hranic
• Vyrovnaní datových sad a augmentace zvuku

Stavba modelů klasifikace zvuku

• Použití konvolučních neuronových sítí (CNN) pro zvuk
• Vstupní data modelu: surová vlnová forma vs. extrahované funkce
• Funkce ztráty, metriky hodnocení a overfitting

Detekce událostí a časová lokalizace

• Strategie detekce založené na rámci a segmentech
• Pozdější zpracování detekcí pomocí prahových hodnot a vyhlazování
• Vizualizace předpovědí na časových osách zvuku

Pokročilé téma a zpracování v reálném čase

• Přenášení učení pro situace s malým množstvím dat
• Nasazování modelů pomocí TensorFlow Lite nebo ONNX
• Proudové zpracování zvuku a zvažení latence

Development projektů a scénáře aplikací

• Navrhování kompletního potrubí: od vstupu dat po klasifikaci
• Vývoj konceptu demonstrující pro dohled, kontrolu kvality nebo monitorování
• Evidování událostí, hlášení upozornění a integrace s dashboardy nebo API

Shrnutí a další kroky