Návrh Školení
Úvod do Red Teaming AI
- Porozumění hrozebnému prostředí AI
- Role red týmů v bezpečnosti AI
- Etické a právní aspekty
Protistranné Strojové Učení
- Typy útoků: odvádění, otrávení, extrakce, inferencia
- Generování protistranných příkladů (např. FGSM, PGD)
- Cílené vs. necílené útoky a metriky úspěšnosti
Testování Robustnosti Modelu
- Hodnocení robustnosti při poruchách
- Průzkum slepých míst a režimů selhání modelu
- Stresové testování klasifikačních, vizuálních a NLP modelů
Red Teaming AI Potrubí
- Útočná plocha potrubí AI: data, model, nasazení
- Exploze nezabezpečených API a koncových bodů modelu
- Reversní inženýrství chování a výstupů modelu
Simulace a Nástroje
- Použití Adversarial Robustness Toolbox (ART)
- Red teaming s nástroji jako TextAttack a IBM ART
- Nástroje pro sandboxování, monitorování a sledovatelnost
Strategie Red Teamu AI a Spolupráce s Obranou
- Vývoj cvičení a cílů red teamu
- Komunikace zjištění s blue týmy
- Integrace red teaming do řízení rizik AI
Shrnutí a Další Kroky
Požadavky
- Porozumění architektuře strojového učení a hlubokého učení
- Zkušenosti s Pythonem a rámci ML (např. TensorFlow, PyTorch)
- Odběžné znalosti pojmů kyberbezpečnosti nebo ofenzivních bezpečnostních technik
Cílová Skupina
- Výzkumníci v oblasti bezpečnosti
- Týmy ofenzivní bezpečnosti
- Profesionálové zajišťující bezpečnost AI a red teamování
Reference (2)
Měl jsem opravdu velký zájem o poznávání útoků na AI a nástroje dostupné pro zahájení praxe a aktivní používání při bezpečnostním testování. Získal jsem mnoho znalostí, které jsem na začátku neměl, a kurz splnil mé očekávání. Mou nejoblíbenější částí z tréninku byl Comet Browser a byl jsem ohromen tím, co umí. Určitě se tomu chci věnovat více. Celkově byl skvělý kurz a užil jsem si vše, co jsem se naučil o OWASP GenAI Top 10.
Patrick Collins - Optum
Kurz - OWASP GenAI Security
Přeloženo strojem
Profesionální znalosti a způsob, jakým nám je prezentoval
Miroslav Nachev - PUBLIC COURSE
Kurz - Cybersecurity in AI Systems
Přeloženo strojem