OWASP GenAI Security Počítačový Kurz

Den 1: Základy a základní hrozby

Modul 1: Úvod do projektu OWASP GenAI Security (1 hodina)

Cíle výuky:

• Porozumět vývoji od OWASP Top 10 ke specifickým bezpečnostním výzvám GenAI
• Prozkoumat ekosystém a zdroje projektu OWASP GenAI Security Project
• Identifikovat klíčové rozdíly mezi tradiční bezpečností aplikací a bezpečností AI

Zpracovaná témata:

• Přehled mise a rozsahu projektu OWASP GenAI Security Project
• Úvod do frameworku Threat Defense COMPASS
• Pochopení krajiny AI bezpečnosti a regulačních požadavků
• Útokové plochy AI vs. tradiční zranitelnosti webových aplikací

Praktické cvičení: Nastavení nástroje OWASP Threat Defense COMPASS a provedení počátečního hodnocení hrozeb

Modul 2: OWASP Top 10 pro LLM - Část 1 (2,5 hodiny)

Cíle výuky:

• Ovládnout první pět kritických zranitelností LLM
• Porozumět vektorům útoků a technikám exploatace
• Použít praktické strategie zmírnění

Zpracovaná témata:

LLM01: Vstřikování promptů (Prompt Injection)

• Přímé a nepřímé techniky vstřikování promptů
• Útoky skrytých instrukcí a kontaminace mezi prompty (cross-prompt contamination)
• Praktické příklady: Jailbreaking chatbotů a obcházení bezpečnostních opatření
• Strategie obrany: Sanitizace vstupu, filtrování promptů, diferenční soukromí

LLM02: Vyzrazení citlivých informací

• Extrakce trénovacích dat a únik systémových promptů
• Analýza chování modelu pro expozici citlivých informací
• Dopady na soukromí a úvahy o dodržování předpisů
• Zmírnění: Filtrace výstupu, kontrola přístupu, anonymizace dat

LLM03: Zranitelnosti dodavatelského řetězce

• Závislosti na třetích stranách pro modely a bezpečnost pluginů
• Kompromitované trénovací sady dat a otrava modelů (model poisoning)
• Hodnocení rizika dodavatelů pro AI komponenty
• Bezpečné nasazování a ověřování praxí modelů

Praktické cvičení: Praktická laboratoř demonstrující útoky vstřikování promptů proti zranitelným LLM aplikacím a implementaci obranných opatření

Modul 3: OWASP Top 10 pro LLM - Část 2 (2 hodiny)

Zpracovaná témata:

LLM04: Otrava dat a modelů

• Techniky manipulace s trénovacími daty
• Úprava chování modelu pomocí otravených vstupů
• Zadní vrátka (backdoor) útoky a ověřování integrity dat
• Prevence: Pipeline pro validaci dat, sledování původu (provenance tracking)

LLM05: Nesprávné zpracování výstupů

• Nebezpečné zpracování obsahu generovaného LLM
• Injekce kódu prostřednictvím AI generovaných výstupů
• Cross-site scripting (XSS) přes AI odpovědi
• Ramce pro validaci a sanitizaci výstupů

Praktické cvičení: Simulace útoků na otravu dat a implementace robustních mechanismů pro validaci výstupů

Modul 4: Pokročilé hrozby LLM (1,5 hodiny)

Zpracovaná témata:

LLM06: Nadměrná autonomie (Excessive Agency)

• Rizika autonomního rozhodování a porušování hranic
• Autorita agentů a správa oprávnění
• Nezamýšlené interakce se systémem a eskalace oprávnění
• Implementace zábrzdných mechanismů (guardrails) a lidského dohledu

LLM07: Únik systémového promptu

• Zranitelnosti expozice systémových instrukcí
• Vyzrazení přihlašovacích údajů a logiky prostřednictvím promptů
• Techniky útoků pro extrakci systémových promptů
• Zabezpečení systémových instrukcí a externí konfigurace

Praktické cvičení: Návrh bezpečné architektury agentů s vhodnou kontrolou přístupu a monitoringem

Den 2: Pokročilé hrozby a implementace

Modul 5: Nově vznikající AI hrozby (2 hodiny)

Cíle výuky:

• Porozumět špičkovým bezpečnostním hrozbám AI
• Implementovat pokročilé techniky detekce a prevence
• Návrh odolných AI systémů proti sofistikovaným útokům

Zpracovaná témata:

LLM08: Slabosti vektorů a embeddingů

• Zranitelnosti RAG systémů a bezpečnost vektorových databází
• Otrava embeddingů a útoky na manipulaci podobností
• Adversariální příklady při sémantickém hledání
• Zabezpečení vektorových úložišť a implementace detekce anomálií

LLM09: Dezinformace a spolehlivost modelu

• Detekce a zmírnění halucinací
• Amplifikace biasu a úvahy o férovosti
• Mechanismy ověřování faktů a zdrojů
• Validace obsahu a integrace lidského dohledu

LLM10: Neomezená spotřeba

• Vycerpání zdrojů a útoky typu denial-of-service
• Strategie omezování rychlosti (rate limiting) a správy zdrojů
• Optimalizace nákladů a rozpočtová kontrola
• Monitoring výkonu a výstražné systémy

Praktické cvičení: Stavba bezpečného RAG pipeline s ochranou vektorové databáze a detekcí halucinací

Modul 6: Bezpečnost agentické AI (2 hodiny)

Cíle výuky:

• Porozumět unikátním bezpečnostním výzvám autonomních AI agentů
• Použít OWASP taxonomii Agentic AI na reálné systémy
• Implementovat bezpečnostní kontroly pro multi-agentní prostředí

Zpracovaná témata:

• Úvod do Agentic AI a autonomních systémů
• OWASP taxonomie hrozeb Agentic AI: Návrh agentů, paměť, plánování, používání nástrojů, nasazení
• Bezpečnost multi-agentních systémů a rizika koordinace
• Zneužití nástrojů, otrava paměti a útoky na příměření cílů (goal hijacking)
• Zabezpečení komunikace agentů a procesů rozhodování

Praktické cvičení: Cvičení v modelování hrozeb pomocí OWASP taxonomie Agentic AI na multi-agentním systému zákaznické podpory

Modul 7: Implementace OWASP Threat Defense COMPASS (2 hodiny)

Cíle výuky:

• Ovládnout praktickou aplikaci Threat Defense COMPASS
• Integrace hodnocení AI hrozeb do organizačních bezpečnostních programů
• Vývoj komplexních strategií pro správu AI rizik

Zpracovaná témata:

• Detailní analýza metodiky Threat Defense COMPASS
• Integrace cyklu OODA: Pozorovat, Orientsvat se, Rozhodnout, Jednat
• Mapování hrozeb na frameworky MITRE ATT&CK a ATLAS
• Tvorba dashboardů strategie odolnosti AI vůči hrozbám
• Integrace s existujícími bezpečnostními nástroji a procesy

Praktické cvičení: Kompletní hodnocení hrozeb pomocí COMPASS pro scénář nasazení Microsoft Copilot

Modul 8: Praktická implementace a nejlepší praxe (2,5 hodiny)

Cíle výuky:

• Návrh bezpečných AI architektur od základů
• Implementace monitoringu a reakce na incidenty pro AI systémy
• Vytvoření rámců správy (governance) pro AI bezpečnost

Zpracovaná témata:

Bezpečný životní cyklus vývoje AI:

• Principy Security-by-design pro AI aplikace
• Praxe code review pro integrace LLM
• Metodiky testování a skenování zranitelností
• Bezpečnost nasazení a posílení produkčního prostředí

Monitoring a detekce:

• AI-specifické požadavky na logování a monitoring
• Detekce anomálií v AI systémech
• Postup reakce na incidenty pro AI bezpečnostní události
• Forenzní a vyšetřovací techniky

Správa (Governance) a dodržování předpisů:

• Ramce a politiky pro správu AI rizik
• Úvahy o dodržování předpisů (GDPR, AI Act, atd.)
• Hodnocení rizik třetích stran pro AI dodavatele
• Bezpečnostní školení pro týmy vyvíjející AI

Praktické cvičení: Návrh kompletní bezpečnostní architektury pro podnikový AI chatbot včetně monitoringu, správy a postupů reakce na incidenty

Modul 9: Nástroje a technologie (1 hodina)

Cíle výuky:

• Ohodnotit a implementovat nástroje pro AI bezpečnost
• Porozumět aktuálnímu trhu s řešeními AI bezpečnosti
• Vytvořit praktické schopnosti detekce a prevence

Zpracovaná témata:

• Ekosystém nástrojů pro AI bezpečnost a trh dodavatelů
• Open-source nástroje pro bezpečnost: Garak, PyRIT, Giskard
• Komerční řešení pro AI bezpečnost a monitoring
• Patterny integrace a strategie nasazení
• Kritéria výběru nástrojů a evaluační frameworky

Praktické cvičení: Praktická demonstrace nástrojů pro testování AI bezpečnosti a plánování implementace

Modul 10: Budoucí trendy a shrnutí (1 hodina)

Cíle výuky:

• Porozumět nově vznikajícím hrozbám a budoucím bezpečnostním výzvám
• Vývoj strategií pro neustálé učení a zlepšování
• Vytvoření akčních plánů pro organizační programy AI bezpečnosti

Zpracovaná témata:

• Nově vznikající hrozby: Deepfakes, pokročilé vstřikování promptů, inverze modelů
• Budoucí vývoj projektu OWASP GenAI a roadmapa
• Budování komunit AI bezpečnosti a sdílení znalostí
• Neustálé zlepšování a integrace informací o hrozbách

Cviření pro plánování akcí: Vývoj 90denního akčního plánu pro implementaci praktik OWASP GenAI bezpečnosti v organizacích účastníků