Zabezpečení OWASP GenAI Počítačový Kurz

Denní 1: Základy a hlavní hrozby

Modul 1: Úvod do projektu OWASP GenAI Security (1 hodina)

Cíle učení:

• Rozumět vývoji od OWASP Top 10 k výzvám zabezpečení specifickým pro GenAI
• Zkumat ekosystém a zdroje projektu OWASP GenAI Security
• Identifikovat klíčové rozdíly mezi tradičním zabezpečením aplikací a zabezpečením AI

Témata:

• Přehled mise a rozsahu projektu OWASP GenAI Security
• Úvod do frameworku Threat Defense COMPASS
• Rozumění krajině zabezpečení AI a regulačním požadavkům
• Obranné plochy AI vs. tradiční zranitelnosti webových aplikací

Praktické cvičení: Nastavení nástroje OWASP Threat Defense COMPASS a provedení počátečního hodnocení hrozeb

Modul 2: OWASP Top 10 pro LLM - Část 1 (2,5 hodiny)

Cíle učení:

• Zvládnout prvních pět kritických zranitelností LLM
• Rozumět útokovým vektorům a technikám exploitace
• Aplikovat praktické strategie zmírnění

Témata:

LLM01: Injectce promptů (Prompt Injection)

• Přímo a nepřímo způsobená injectce promptů
• Útoky s ukrytými instrukcemi a kontaminace napříč prompty
• Praktické příklady: Jailbreaking chatbotů a obcházení bezpečnostních opatření
• Strategie obrany: Sanitizace vstupu, filtrování promptů, diferenciální soukromí

LLM02: Odhalení citlivých informací (Sensitive Information Disclosure)

• Těžba trénovacích dat a únik systémových promptů
• Analýza chování modelu pro odhalení citlivých informací
• Dopady na soukromí a zohlednění regulačního souladu
• Mitigace: Filtrování výstupu, kontrola přístupu, anonymizace dat

LLM03: Zranitelnosti dodavatelského řetězce (Supply Chain Vulnerabilities)

• Závislosti na modelech třetích stran a zabezpečení pluginů
• Kompromitované trénovací datasety a otrava modelů
• Hodnocení rizik dodavatelů pro komponenty AI
• Bezpečné nasazení modelů a osvědčené postupy ověřování

Praktické cvičení: Laboratorní demonstrace útoků s injectcí promptů proti zranitelným aplikacím LLM a implementace obranných opatření

Modul 3: OWASP Top 10 pro LLM - Část 2 (2 hodiny)

Témata:

LLM04: Otrava dat a modelů (Data and Model Poisoning)

• Manipulační techniky trénovacích dat


• Změna chování modelu prostřednictvím otrávených vstupů
• Backdoor útoky a ověřování integrity dat
• Předejití: Pipelines pro validaci dat, sledování původu (provenance)

LLM05: Nesprávné zpracování výstupu (Improper Output Handling)

• Nesecure zpracování obsahu generovaného LLM
• Kód injection prostřednictvím výstupů AI
• Cross-site scripting (XSS) přes odpovědi AI
• Rámce pro validaci a sanitizaci výstupu

Praktické cvičení: Simulace útoků s otravou dat a implementace robustních mechanismů validace výstupu

Modul 4: Pokročilé hrozby pro LLM (1,5 hodiny)

Témata:

LLM06: Nadměrná agentura (Excessive Agency)

• Rizika autonomního rozhodování a porušování hranic
• Správa autority a oprávnění agenta
• Náhodné interakce se systémy a eskalace privilegií
• Implementace ochranných opatření (guardrails) a kontrol lidského dohledu

LLM07: Únik systémového promptu (System Prompt Leakage)

• Zranitelnosti odhalující systémové instrukce
• Odhalení přihlašovacích údajů a logiky prostřednictvím promptů
• Útokové techniky pro extrakci systémových promptů
• Zabezpečení systémových instrukcí a externí konfigurace

Praktické cvičení: Návrh bezpečných architektur agentů s příslušnými kontrolami přístupu a monitorováním

Denní 2: Pokročilé hrozby a implementace

Modul 5: Vznikající hrozby AI (2 hodiny)

Cíle učení:

• Rozumět nejnovějším hrozbám v zabezpečení AI
• Implementovat pokročilé techniky detekce a prevence
• Návrh odolných systémů AI proti sofistikovaným útokům

Témata:

LLM08: Slabosti vektorů a embeddingů (Vector and Embedding Weaknesses)

• Zranitelnosti systémů RAG a zabezpečení vektorových databází
• Otrava embeddingů a útoky na manipulaci podobnosti
• Adversariální příklady v sémantickém vyhledávání
• Zabezpečení vektorových úložišť a implementace detekce anomálií

LLM09: Misinformace a spolehlivost modelu (Misinformation and Model Reliability)

• Detekce a zmírnění halucinací
• Zesilování zkreslení a zohlednění spravedlnosti (fairness)
• Mechanismy ověřování faktů a zdrojů
• Validace obsahu a integrace lidského dohledu

LLM10: Neomezená spotřeba (Unbounded Consumption)

• Vybíjení zdrojů a útoky typu Denial of Service (DoS)
• Strategie omezení rychlosti (rate limiting) a řízení zdrojů
• Optimalizace nákladů a kontroly rozpočtu
• Systémy monitorování výkonu a upozornění

Praktické cvičení: Sestavení bezpečného pipeline RAG s ochranou vektorové databáze a detekcí halucinací

Modul 6: Bezpečnost Agentic AI (2 hodiny)

Cíle učení:

• Rozumět jedinečným bezpečnostním výzvám autonomních agentů AI
• Aplikovat taxonomii hrozeb OWASP Agentic AI na reálné systémy
• Implementace bezpečnostních kontrol pro prostředí více agentů

Témata:

• Úvod do Agentic AI a autonomních systémů
• OWASP Taxonomie hrozeb Agentic AI: Návrh agenta, paměť, plánování, použití nástrojů, nasazení
• Zabezpečení a rizika koordinace systémů více agentů
• Útoky na zneužití nástrojů, otravu paměti a přivlastnění cílů
• Zabezpečení komunikace agentů a procesů rozhodování

Praktické cvičení: Cvičení na modelování hrozeb pomocí taxonomie OWASP Agentic AI na systému zákaznické služby s více agenty

Modul 7: Implementace Threat Defense COMPASS od OWASP (2 hodiny)

Cíle učení:

• Zvládnout praktické použití Threat Defense COMPASS
• Integrovat hodnocení hrozeb AI do bezpečnostních programů organizace
• Vyvinout komplexní strategie řízení rizik AI

Témata:

• Hluboká analýza metodiky Threat Defense COMPASS
• Integrace smyčky OODA: Sledovat (Observe), Orientovat (Orient), Rozhodnout (Decide), Jednat (Act)
• Přiřazení hrozeb k frameworkům MITRE ATT&CK a ATLAS
• Sestavování dashboardů strategie odolnosti proti hrozbám AI
• Integrace s existujícími bezpečnostními nástroji a procesy

Praktické cvičení: Kompletní hodnocení hrozeb pomocí COMPASS pro scénář nasazení Microsoft Copilot

Modul 8: Praktická implementace a osvědčené postupy (2,5 hodiny)

Cíle učení:

• Návrh bezpečných architektur AI od základu
• Implementace monitorování a reakce na incidenty pro systémy AI
• Vytvoření rámců governance pro zabezpečení AI

Témata:

Životní cyklus vývoje bezpečného AI:

• Zásady security-by-design pro aplikace AI
• Ověřování kódu (code review) pro integrace LLM
• Metodiky testování a skenování zranitelností
• Zabezpečení nasazení a hardening produkčního prostředí

Monitorování a detekce:

• Požadavky na logování a monitorování specifické pro AI
• Detekce anomálií pro systémy AI
• Postupy reakce na incidenty pro bezpečnostní události AI
• Forenzní techniky a metody vyšetřování

Governance a Compliance:

• Rámce a politiky řízení rizik AI
• Zohlednění regulačního souladu (GDPR, AI Act, atd.)
• Hodnocení rizik třetích stran pro dodavatele AI
• Školení o bezpečnostním povědomí pro vývojářské týmy AI

Praktické cvičení: Návrh kompletní bezpečnostní architektury pro enterprise chatbota AI včetně monitorování, governance a procedur reakce na incidenty

Modul 9: Nástroje a technologie (1 hodina)

Cíle učení:

• Vyhodnotit a implementovat nástroje pro zabezpečení AI
• Rozumět aktuální krajině řešení pro zabezpečení AI
• Sestavit praktické schopnosti detekce a prevence

Témata:

• Ekosystém nástrojů pro zabezpečení AI a krajině dodavatelů
• Nástroje open-source: Garak, PyRIT, Giskard
• Komerční řešení pro zabezpečení a monitorování AI
• Vzory integrace a strategie nasazení
• Kritéria pro výběr nástrojů a rámce hodnocení

Praktické cvičení: Laboratorní demonstrace nástrojů pro testování zabezpečení AI a plánování implementace

Modul 10: Budoucí trendy a shrnutí (1 hodina)

Cíle učení:

• Rozumět vznikajícím hrozbám a budoucím výzvám v zabezpečení
• Vyvinout strategie pro kontinuální učení a zlepšování
• Vytvořit akční plány pro bezpečnostní programy AI v organizaci

Témata:

• Vznikající hrozby: Deepfakes, pokročilé injectce promptů, inverze modelů (model inversion)
• Budoucí vývoj a roadmapa projektu OWASP GenAI
• Sestavování komunit zabezpečení AI a sdílení znalostí
• Kontinuální zlepšování a integrace inteligenčních informací o hrozbách

Cvičení pro akční plánování: Vypracování 90denního akčního plánu pro implementaci osvědčených postupů zabezpečení OWASP GenAI v organizacích účastníků