Návrh Školení
Úvod do modelování hrozeb u AI systémů
- Co činí AI systémy zranitelnými?
- Rozdíly mezi povrchem útoků u AI a tradičních systémů
- Hlavní směry útoků: vrstvy dat, modelu, výstupů a rozhraní
Adverzární útoky na AI modely
- Co jsou adverzární příklady a jaké existují metody perturbace vstupů?
- Rozeznávání útoků typu white-box a black-box
- Metody FGSM, PGD a DeepFool
- Vizualizace a tvorba adverzárních vzorků
Inverzní útoky a narušení soukromí
- Jak z výstupů modelu lze odvodit trénovací data?
- Techniky typu membership inference attacks
- Bezpečnostní rizika u klasifikačních a generativních modelů
Poškození dat a vstřikování „backdoor“ funkcí
- Jak poškozená data ovlivňují chování modelů?
- Mechanismy vytváření triggerově spouštěných backdoorů a tzv. „Trojan“ útoků
- Metody detekce a odstraňování takových problémů
Techniky zvyšování robustnessu a obrana proti útokům
- Adverzární trénování a rozšíření dat o různorodé vzorky
- Metody maskování gradientů a předběžného zpracování vstupů
- Vyhlazování modelů a techniky regularizace ke snížení citlivosti na útoky
Obranné strategie chránící soukromí v AI
- Teoretické a praktické aspekty diferenciálního soukromí
- Přidávání šumu do dat a řízení „soukromnostních rozpočtů“
- Federated learning a bezpečná agregace informací mezi více uzly
Bezpečnost AI v praxi
- Jak vyhodnocovat modely s ohledem na možné hrozby a jak je nasazovat do produkce?
- Použití nástroje ART (Adversarial Robustness Toolbox) v praktických situacích
- Reálné případové studie: konkrétní bezpečnostní incidenty a způsoby jejich řešení
Shrnutí kurzu a další kroky
Požadavky
- Základní znalosti pracovních postupů v oblasti strojového učení a trénování modelů
- Praktické zkušenosti s programováním v Pythonu a běžnými frameworky pro strojové učení jako PyTorch nebo TensorFlow
- Seznámenost se základními koncepty bezpečnosti či modelování hrozeb je výhodou
Cílové skupiny
- Inženýři strojového učení
- Analytici kybernetické bezpečnosti
- Výzkumníci v oblasti AI a týmy ověřující modely
Reference (2)
Měl jsem opravdu velký zájem o poznávání útoků na AI a nástroje dostupné pro zahájení praxe a aktivní používání při bezpečnostním testování. Získal jsem mnoho znalostí, které jsem na začátku neměl, a kurz splnil mé očekávání. Mou nejoblíbenější částí z tréninku byl Comet Browser a byl jsem ohromen tím, co umí. Určitě se tomu chci věnovat více. Celkově byl skvělý kurz a užil jsem si vše, co jsem se naučil o OWASP GenAI Top 10.
Patrick Collins - Optum
Kurz - OWASP GenAI Security
Přeloženo strojem
Profesionální znalosti a způsob, jakým nám je prezentoval
Miroslav Nachev - PUBLIC COURSE
Kurz - Cybersecurity in AI Systems
Přeloženo strojem