Návrh Školení
Úvod do Red Teamingu systémů umělé inteligence
- Přehled hrozeb v prostředí AI
- Role týmů Red Teamingu v oblasti bezpečnosti AI
- Etické a právní aspekty Red Teamingu
Adversariální strojové učení
- Typy útoků: evaze, otrávení dat, extrakce informací a odvození citlivých údajů
- Generování adversariálních příkladů (např. FGSM, PGD)
- Cílené a necílené útoky – měřítka jejich úspěšnosti
Testování odolnosti modelů
- Vyhodnocování schopnosti modelů čelit narušením
- Identifikace slepých míst a režimů selhání modelů
- Simulace stresového testování klasifikačních, vizuálních i jazykových modelů AI
Red Teaming procesů využívajících umělou inteligenci
- Povrch ohrožení celých systémů AI: data, modely a jejich nasazení
- Využití slabin v API a rozhraních modelů k útokům
- Reverzní inženýrství chování a výstupů modelů
Simulace a nástroje pro Red Teaming
- Využití nástroje Adversarial Robustness Toolbox (ART)
- Red Teaming s pomocí nástrojů TextAttack a IBM ART
- Nástroje pro vytváření izolovaných prostředí, monitorování a sledování aktivit
Strategie Red Teaming a spolupráce s obrannými týmy
- Navrhování cvičení a stanovení cílů pro Red Teaming
- Předávání zjištění týmům zajišťujícím obranu systémů
- Začlenění Red Teamingu do procesů řízení rizik v oblasti AI
Závěr a další kroky
Požadavky
- Znalost architektur strojového učení a hlubokého učení
- Praxe s jazykem Python a frameworky pro ML (např. TensorFlow, PyTorch)
- Orientace v konceptech kybernetické bezpečnosti či technikách ofenzivní bezpečnosti
Cílová skupina
- Výzkumníci v oblasti bezpečnosti
- Týmy pro ofenzivní bezpečnost
- Odborníci na ověřování AI a Red Teaming specialisté
Reference (3)
inventarizace a identifikace různých rizikových expozic v rámci AI
Gary Cook - Cybersecurity and Information Technology Risk Division
Kurz - Introduction to AI Trust, Risk, and Security Management (AI TRiSM)
Přeloženo strojem
Měl jsem opravdu velký zájem o poznávání útoků na AI a nástroje dostupné pro zahájení praxe a aktivní používání při bezpečnostním testování. Získal jsem mnoho znalostí, které jsem na začátku neměl, a kurz splnil mé očekávání. Mou nejoblíbenější částí z tréninku byl Comet Browser a byl jsem ohromen tím, co umí. Určitě se tomu chci věnovat více. Celkově byl skvělý kurz a užil jsem si vše, co jsem se naučil o OWASP GenAI Top 10.
Patrick Collins - Optum
Kurz - OWASP GenAI Security
Přeloženo strojem
Profesionální znalosti a způsob, jakým nám je prezentoval
Miroslav Nachev - PUBLIC COURSE
Kurz - Cybersecurity in AI Systems
Přeloženo strojem