Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
První den: Základy a základní hrozby
Modul 1: Úvod do projektu OWASP GenAI Security (1 hodina)
Cíle výuky:
- Chápání evoluce od OWASP Top 10 k bezpečnostním výzvám specifickým pro GenAI.
- Průzkum ekosystému a zdrojů projektu OWASP GenAI Security Project.
- Identifikace klíčových rozdílů mezi tradiční bezpečností aplikací a bezpečností AI.
Předměty kryté:
- Přehled mise a rozsahu projektu OWASP GenAI Security Project.
- Úvod do frameworku Threat Defense COMPASS.
- Chápání bezpečnostního prostředí AI a požadavků na regulaci.
- Útokové povrchy AI ve srovnání s tradičními zranitelnostmi webových aplikací.
Praktické cvičení: Nastavení nástroje OWASP Threat Defense COMPASS a provádění počátečního hodnocení hrozeb.
Modul 2: OWASP Top 10 pro LLM - Část 1 (2,5 hodiny)
Cíle výuky:
- Ovládání prvních pěti klíčových zranitelností LLM.
- Chápání útočných vektorů a technik exploitace.
- Aplikace praktických strategií odstranění rizik.
Předměty kryté:
LLM01: Injekce příkazů (Prompt Injection)
- Techniky přímé a nepřímé injekce příkazů.
- Útoky s ukrytými instrukcemi a křížovou kontaminací příkazů.
- Praktické příklady: Překazování chatbotů a obcházení zabezpečených opatření.
- Ochranné strategie: Sanitizace vstupu, filtrování příkazů, diferenciální soukromí.
LLM02: Únik citlivých informací (Sensitive Information Disclosure)
- Extrakce trénovacích dat a únik systémových příkazů.
- Analýza chování modelu pro odhalení citlivých informací.
- Důsledky pro soukromí a dodržování právních předpisů.
- Odstranění rizik: Filtrace výstupu, řízení přístupu, anonymizace dat.
LLM03: Zranitelnosti dodavatelského řetězce (Supply Chain Vulnerabilities)
- Závislosti na třetích stranách a bezpečnost doplňků.
- Kompromitace trénovacích dat a otravování modelu.
- Hodnocení rizik od dodavatelů pro komponenty AI.
- Bezpečné nasazení a ověřování modelů.
Praktické cvičení: Praktická laboratoř demonstруující útoky injekce příkazů proti zranitelným aplikacím LLM a implementace ochranných opatření.
Modul 3: OWASP Top 10 pro LLM - Část 2 (2 hodiny)
Předměty kryté:
LLM04: Otravování dat a modelů (Data and Model Poisoning)
- Techniky manipulace s trénovacími daty.
- Modifikace chování modelu prostřednictvím otrávených vstupů.
- Útoky zpětnými vrátky a ověřování integrity dat.
- Prevence: Validace datových potoků, sledování původu (provenance).
LLM05: Nevhodné zpracování výstupu (Improper Output Handling)
- Nesbezpečné zpracování obsahu generovaného LLM.
- Injekce kódu prostřednictvím výstupu AI.
- Cross-site scripting přes odpovědi AI.
- Validace a sanitizace výstupních rámce.
Praktické cvičení: Simulace útoků otravováním dat a implementace robustních mechanismů validace výstupu.
Modul 4: Pokročilé hrozby LLM (1,5 hodiny)
Předměty kryté:
LLM06: Nadměrná autonomie (Excessive Agency)
- Rizika autonomního rozhodování a porušení hranic.
- Správa autority a oprávnění agentů.
- Neplánované interakce systému a eskalace práv.
- Implementace ochranitelských mřížek (guardrails) a kontrol lidské dozoru.
LLM07: Únik systémových příkazů (System Prompt Leakage)
- Zranitelnosti odhalení systémových instrukcí.
- Únik přihlašovacích údajů a logiky prostřednictvím příkazů.
- Útokové techniky pro extrakci systémových příkazů.
- Zabezpečení systémových instrukcí a externí konfigurace.
Praktické cvičení: Návrh bezpečných architektur agentů s příslušným řízením přístupu a monitorováním.
Druhý den: Pokročilé hrozby a implementace
Modul 5: Vznikající AI hrozby (2 hodiny)
Cíle výuky:
- Chápání nejnovějších hrozeb pro bezpečnost AI.
- Implementace pokročilých technik detekce a prevence.
- Návrh odolných systémů AI proti sofistickým útokům.
Předměty kryté:
LLM08: Slabiny vektorových a vložených reprezentací (Vector and Embedding Weaknesses)
- Zranitelnosti systémů RAG a bezpečnost databází vektorů.
- Otravování vložení a útoky na manipulaci s podobností.
- Protivnícké příklady ve semantickém hledání.
- Zabezpečení databází vektorů a implementace detekce anomálií.
LLM09: Falešné informace a spolehlivost modelu (Misinformation and Model Reliability)
- Detekce a odstranění halucinací.
- Zvýšení nespravedlivosti a úvahy o rovnosti.
- Mechanismy ověřování faktů a zdrojů.
- Validace obsahu a integrace lidského dozoru.
LLM10: Neomezené spotřeba (Unbounded Consumption)
- Vyčerpaní zdrojů a útoky typu denial-of-service.
- Strategie rate limiting a řízení zdrojů.
- Optimalizace nákladů a kontrola rozpočtu.
- Monitorování výkonu a systémy vyvolání upozornění.
Praktické cvičení: Vytvoření bezpečného RAG potrubí s ochranou databáze vektorů a detekcí halucinací.
Modul 6: Bezpečnost agenické AI (2 hodiny)
Cíle výuky:
- Chápání jedinečných bezpečnostních výzev autonomních agentů AI.
- Aplikace taxonomie OWASP Agentic AI na reálné systémy.
- Implementace bezpečnostních kontrol pro multi-agentní prostředí.
Předměty kryté:
- Úvod do agenické AI a autonomních systémů.
- Taxonomie hrozeb OWASP Agentic AI: Návrh agenta, paměť, plánování, nástroje, nasazení.
- Bezpečnost a rizika koordinace multi-agentních systémů.
- Útoky při špatném používání nástrojů, otravování paměti a únosu cílů (goal hijacking).
- Zabezpečení komunikace agentů a procesů rozhodování.
Praktické cvičení: Cvičení modelování hrozeb pomocí taxonomie OWASP Agentic AI na multi-agentní systém zákaznického servisu.
Modul 7: Implementace Threat Defense COMPASS (2 hodiny)
Cíle výuky:
- Ovládání praktické aplikace Threat Defense COMPASS.
- Integrace hodnocení hrozeb AI do bezpečnostních programů organizací.
- Vývoj komplexních strategií řízení rizik AI.
Předměty kryté:
- Detailní přehled metodologie Threat Defense COMPASS.
- Integrace OODA Loop: Pozorování, Orientace, Rozhodnutí, Akce.
- Mapování hrozeb do rámčíků MITRE ATT&CK a ATLAS.
- Vytvoření tabulek odolnosti proti hrozbám AI.
- Integrace s již existujícími bezpečnostními nástroji a procesy.
Praktické cvičení: Kompletní hodnocení hrozeb pomocí COMPASS pro scénář nasazení Microsoft Copilot.
Modul 8: Praktická implementace a nejlepší praktiky (2,5 hodiny)
Cíle výuky:
Předměty kryté:
Bezpečný vývojový cyklus AI:
Monitorování a detekce:
Ramce řízení a dodržování právních předpisů:
Praktické cvičení: Návrh kompletní bezpečnostní architektury pro podnikového chatbota s monitorem, rámec řízení a procedurami reakce na incidenty.
Modul 9: Nástroje a technologie (1 hodina)
Cíle výuky:
Předměty kryté:
Praktické cvičení: Praktická demonstřace testovacích nástrojů pro bezpečnost AI a plánování implementace.
Modul 10: Budoucí trendy a uzavření (1 hodina)
Cíle výuky:
Předměty kryté:
Cvičení na plánování akcí: Vytvoření 90-denního plánu pro implementaci praktik OWASP GenAI security v organizacích účastníků.
Požadavky
- Obecné pochopení principů bezpečnosti webových aplikací.
- Základní obeznáměnost s koncepty AI/ML.
- Preferuje se zkušenost s bezpečnostními rámcovými řízeními nebo metodologiemi hodnocení rizik.
Cílová skupina
- Profesionálci ve kybernetické bezpečnosti.
- Vývojáři AI.
- Architekti systémů.
- Odborníci na dodržování právních předpisů (compliance officers).
- Pracovníci ve věci bezpečnosti.
14 hodiny
