Návrh Školení
Základy umělé inteligence a jejího zabezpečení
- Co činí systémy založené na AI zejména náročnými z hlediska bezpečnosti
- Přehled životního cyklu umělé inteligence: data, trénování, vyhodnocování a nasazení
- Základní klasifikace rizik v oblasti AI – technických, etických, právních i organizačních
Konkrétní typy hrozeb pro systémy založené na AI
- Adverzární příklady a manipulace s modely
- Inverze modelů a rizika úniku dat
- Kontaminace trénovacích dat během fáze výuky
- Rizika spojená s generativní AI – například zneužití jazykových modelů nebo vkládání škodlivých pokynů
Rámcové modely pro řízení bezpečnostních rizik
- NIST AI Risk Management Framework (NIST AI RMF)
- ISO/IEC 42001 a další standardy specifické pro umělou inteligenci
- Začlenění rizik spojených s AI do stávajících firemních systémů řízení rizik a compliance
Principy správy a dodržování předpisů v oblasti umělé inteligence
- Odpovědnost a kontrolovatelnost systémů založených na AI
- Transparentnost, vysvětlitelnost a spravedlnost jako aspekty důležité pro bezpečnost
- Rizika zkreslení, diskriminace a nechtěných dopadů na jednotlivce či komunity
Připravenost podniků na využívání umělé inteligence a zásady jejího bezpečného použití
- Určení rolí a odpovědností v rámci programů zabezpečení AI
- Klíčové prvky politik: vývoj, pořizování technologií, jejich užití a vyřazování ze služby
- Rizika spojená s využíváním nástrojů AI od třetích stran a jejich dodavatelů
Regulační prostředí a globální trendy v oblasti AI
- Přehled evropského nařízení o umělé inteligenci a mezinárodní regulace
- Nařízení prezidenta USA týkající se bezpečné, spolehlivé a důvěryhodné AI
- Nově vznikající národní modely řízení a směrnice specifické pro jednotlivá odvětví
Volitelný workshop: Mapování rizik a samohodnocení
- Přiřazení reálných případů využití AI k jednotlivým komponentám NIST AI RMF
- Provedení základní samohodnocky rizik souvisejících s umělou inteligencí
- Identifikace vnitřních nedostatků ve stupni připravenosti firmy na zabezpečení AI
Shrnutí a další kroky
Požadavky
- Znalost základních principů kybernetické bezpečnosti
- Praktické zkušenosti s systémy řízení IT nebo správou rizik
- Obecná orientace v konceptech umělé inteligence je výhodou, není však povinná
Cílové skupiny
- Týmy pro IT bezpečnost
- Manažeři rizik
- Odborníci na dodržování předpisů
Reference (2)
Měl jsem opravdu velký zájem o poznávání útoků na AI a nástroje dostupné pro zahájení praxe a aktivní používání při bezpečnostním testování. Získal jsem mnoho znalostí, které jsem na začátku neměl, a kurz splnil mé očekávání. Mou nejoblíbenější částí z tréninku byl Comet Browser a byl jsem ohromen tím, co umí. Určitě se tomu chci věnovat více. Celkově byl skvělý kurz a užil jsem si vše, co jsem se naučil o OWASP GenAI Top 10.
Patrick Collins - Optum
Kurz - OWASP GenAI Security
Přeloženo strojem
Profesionální znalosti a způsob, jakým nám je prezentoval
Miroslav Nachev - PUBLIC COURSE
Kurz - Cybersecurity in AI Systems
Přeloženo strojem