Bezpečnost umělé inteligence pro bezpečnostní týmy Počítačový Kurz

Modul 1 – Systémy umělé inteligence pro odborníky na bezpečnost

Cvičení: Cvičení 01 – Úvod do problematiky

Pochopení architektury systémů.

Témata:

• Modely LLM oproti běžným aplikacím
• Inferenční kanály v systémech AI
• Příval promptů do modelu
• Architektura systémů typu RAG
• Vektorové databáze a metoda embeddingů
• Pracovní postupy agentů využívajících AI
• Možnosti volání nástrojů ze strany modelů
• Brana pro komunikaci s modely AI
• Asistenti řízení umělou inteligencí
• Protokoly využívané agenty a standard MCP
• Kde WAF dokáže sledovat komunikaci
• Kdy se viditelnost provozu skrz WAF vytrácí

Klíčová myšlenka: Tradiční firewally pro webový provoz často ztrácejí přehled o komunikaci poté, co prompt dorazí k modelu.

Modul 2 – OWASP GenAI Top 10

Cvičení: žádné – interaktivní shrnutí a diskuse

Hlavní kategorie útoků na systémy s umělou inteligencí.

Témata: 

• Injekce promptů
• Nebezpečné zacházení s výstupy modelů
• Otrávení trénovacích dat umělé inteligence
• Přerušení činnosti modelu DoS útokem
• Zranitelnosti v dodavatelském řetězci AI systémů
• Vyzrazení citlivých informací ze strany modelů
• Přílišná autonomie modelů a agentů
• Slabiny související s vektorovými reprezentacemi dat
• Šíření nepravdivých informací vytvořených AI
• Nekontrolovatelné plýtvání zdroji systémů s AI

Obsah kurzu:

• Rozdíly oproti klasickému seznamu OWASP Top 10
• Souvislosti s jednotlivými obrannými mechanismy (WAF, brány, aplikační vrstva)
• V jakých situacích daná ochrana pomůže
• Kdy jednotlivé systémy selžou v obraně

Modul 3 – Detekce injekcí promptů

Cvičení: Cvičení 02 – Injekce promptů do modelů

Toto je „moment SQL injekce“ v kontextu umělé inteligence.

Témata:

• Přímá injekce promptů
• Nepřímá injekce promptů do systémů AI
• Skryté pokyny určené modelu
• Útoky využívající dokumenty jako prostředníka
• Injekce HTML či Markdown znaků do textových polí AI systémů
• Obehnutí omezení vzniklá u AI modelů a asistentů
• Útoky zaměřené na přepsání kontextu, ve kterém pracuje model
• Pokusy o záměnu role daného agenta

Metody detekce:

• Heuristiky vycházející ze klíčových slov
• Sémantické klasifikace textů
• Kontrola syntaxe promtu za pomoci specializovaných nástrojů
• Ochrana hranic určených pro instrukce modelu
• Pravidla povolení či zakázání konkrétních vzorců textů
• Regulární výrazy navržené speciálně pro detekci hrozeb AI

Praktická cvičení:

• Provokovat chyby u konverzačního robota
• Obejít jednoduché filtry chránící rozhraní AI aplikací
• Sestavit vícevrstvý systém detekce nebezpečných vzorců komunikace

Modul 4 – Pravidla WAF pro ochranu AI systémů

Cvičení: Cvičení 03 – Základy používání WAF u AI technologií

Jak se musí pravidla firewallů přizpůsobit novým typům systémů s umělou inteligencí.

• Témata:
• Ochrana koncových bodů obsluhujících modely LLM
• Zabezpečení rozhraní API využívajících inferenci AI modelů
• Omezení počtu požadavků na základě množství tokenu přenášených dat
• Kontrola velikosti samotných promptů před odesláním do modelu
• Použití speciálních signatur určených k rozpoznávání hrozeb typických pro AI
• Detekce anomálií v průběhu dialogů mezi uživatelem a modely AI
• Rozpoznávání vícenásobných pokusů o zneužití systému ze strany jednoho klienta
• Kontrola snahy o vystavení seznamu dostupných modelů za účelem jejich identifikace
• Ochrana před nežádoucím extrahováním informací ze strany uživatelů pomocí modelů AI
• Prevence plýtvání zdroji vzniklého při nadměrném využívání výpočetní kapacity modelů

Příklady použití:

• Ochrana rozhraní typu /v1/chat/completions
• Zabezpečení datových toků využívajících technologii streamingu
• Blokování opakovaného volání agentů ze strany jednoho uživatele

Modul 5 – Zabezpečení systémů RAG

Cvičení: Cvičení 04 – Ochrana infrastruktury typu RAG před útoky

Toto je jedna z nejnovějších a často nedostatečně chráněných oblastí v technologiích umělé inteligence.

Témata:

• Bezpečnost databází vektorových reprezentací
• Otrávení procesů generujících embeddingy
• Rizika vyplývající z používání podezřelých PDF souborů a dokumentů jako vstupu pro systémy RAG
• Možnosti manipulace s procesem vyhledávání informací
• Sémantické poškození dat při jejich vkládání do rejstříku
• Skryté pokyny ukryté uvnitř textových dokumentů sloužících jako zdroje pro AI
• Rizika křížového kontaminování informací uložených v systému RAG
• Možnost neoprávněného vyzrazení citlivých dat skrze rešerše koncovými uživateli

Obranná opatření:

• Kontrola integrity vstupních dokumentů před jejich zpracováním
• Použití systémů posuzujících důvěryhodnost zdroje dat
• Oddělení metadat od samotných textových informací v systému RAG
• Zajištění sledovatelnosti jednotlivých dokumentů a jejich vytvoření
• Pravidla vyhledávání specifická pro daný typ zdroje
• Rozdělení velkého souboru dat na menší, samostatné celky

Příkladový scénář: ‚Nahrajte otrávený PDF soubor a převezměte kontrolu nad asistentem AI.‘

Modul 6 – Zabezpečení agentů řízených umělou inteligencí

Cvičení: Cvičení 05 – Ochrana autonomních agentů využívajících AI

Zde se situace začíná stávat kritickou z hlediska bezpečnosti.

Témata:

• Přílišná samostatnost agentů AI
• Možnosti zneužití nástrojů k dispozici agentovi
• Řetězení více volání jednotlivých rozhraní API za sebou
• Vznik autonomních smyček v reakci na předem definované podmínky
• Rizika zneužití oprávnění ze strany agentů pro neoprávněné činnosti
• Možnosti poškození vzpomínkových dat a informací uchovávaných u daného agenta
• Příležitost skryté vyvolání různých nástrojů bez vědomí správce systému
• Podvodná identifikace jednotlivých instancí agentů
• Neoprávněné přístup ke kódům či heslům z pohledu samotného agenta
• Rizika útoků, které využívají více nezávislých agenty současně

Obranná opatření:

• Použití principu minimálních oprávnění pro všechny agenty AI
• Vytvoření kontrolních bodů vyžadujících lidský souhlas k provedení jednotlivých akcí
• Nasazení dynamických pravidel řídících chování agentů v průběhu provozu
• Umístění agenty na izolovaná virtuální prostředí typu sandboxů
• Použití speciálních kódů či přihlašovacích dat omezených jen pro daný agent
• Vytvoření seznamů povolených nástrojů určených k použití agentem
• Zavedení mechanizmu kontroly všech činností agenta osobou zodpovědnou za bezpečnost

Tento modul má pro manažery velký význam, jelikož rizika související s agenty mohou mít přímý dopad na chod celé organizace.

Modul 7 – Bezpečnost rozhraní API v prostředí umělé inteligence

Cvičení: Cvičení 06 – Prevence plýtvání zdroji u systémů s AI

Systémy využívající umělou inteligenci jsou extrémně závislé na rozhraních typu API.

Témata:

• Brány pro správu a směrování požadavků do rozhraní API
• Rizika při využívání technologie GraphQL u AI systémů
• Možnosti zneužití standardů MCP a dalších komunikačních protokolů určených pro rozhraní API
• Ochrana dat přenosných v rámci JWT tokenů
• Bezpečnost pluginů rozšířujících možnosti AI asistentů
• Autentizace jednotlivých agentů s ohledem na jejich specializaci
• Systémy delegování oprávnění a řízení přístupu do systémů typu API
• Správa kódu využívaného pro autorizaci přístupu
• Použití signatur na základě kryptografie u samotných promptů poskytovaných do AI modelů
• Vyhotovení kompletního inventáře všech rozhraní API využívaných umělou inteligencí

Souvislost s dalšími koncepty: OWASP API Security Top 10

Modul 8 – Detekční techniky a integrace do SOC prostředí

Cvičení: Cvičení 07 – Detekce neoprávněných aktivit v systémech AI

Praktická ochrana systémů s umělou inteligencí v reálném provozu.

Témata:

• Shromažďování telemetrických dat z jednotlivých komponent systémů AI
• Zaznamenávání textového obsahu samotných promptů pro pozdější analýzu
• Analýza počtu tokenu využívaných při komunikaci s modely AI
• Mechanizmy vyhledávání nestandardních, neobvyklých vzorců chování systémů AI
• Použití mechanismů SIEM schopných analyzovat sémantické prvky textů
• Rozpoznávání specifických znaků signalizujících útoky na AI systémy
• Metody aktivního vyhledávání pokusů o neoprávněné využití modelů LLM pro špatné účely
• Sledování činnosti jednotlivých komponent systémů s umělou inteligencí během jejich provozu

Příklady:

• Rozpoznávání hromadných pokusů o obejití omezení pomocí metod jailbreakingu
• Identifikace automatizovaných aktivit vyvíjených skupinami botů typu AI
• Detekce snah o neoprávněné vyzrazení konfigurace či dat modelů LLM

Modul 9 – Cloudové firewally a bezpečnost AI systémů

Cvičení: žádné – interaktivní shrnutí a diskuse.

Rozdíly mezi jednotlivými řešeními dodavatelů na trhu.

Témata:

• WAF od společnosti AWS určený pro rozhraní API využívající AI
• Služba Azure WAF
• Brána Cloudflare pro komunikaci s modely AI
• Různé typy bran určených k zpracování požadavků na rozhraní API
• Filtrovací schopnosti technologie Envoy v kontextu ochrany systémů s AI
• Brána typu Kong určená pro zabezpečení komunikace uživatelů s modely AI
• Přístupy ke zvýšení bezpečnosti dat přenášených prostřednictvím serveru NGINX v kontextu AI

Srovnání:

• Tradiční WAF versus specializované brány pro komunikaci s modely AI versus aplikační ochranné mechanismy
• Mechanismy sledování provozu na bázi proxy serverů oproti možnostem kontroly sémantických vlastností textového obsahu

Modul 10 – Budování vícevrstvé obrany proti útokům na systémy s AI

Cvičení: Cvičení 08 – Návrh komplexního modelu ochrany AI systémů

Závěrečný filozofický postřeh:

Žádný jediný mechanizmus nedokáže efektivně chránit celý systém umělé inteligence (obzvlášť WAF sám o sobě nestačí).

Studenti budou koncipovat vlastní model ochrany:

1. Firewall pro webový provoz
2. Branky určené k ověření správnosti požadavků na rozhraní API
3. Brány specifické pro systémy s umělou inteligencí
4. Ochranné mechanismy dodávané aplikační vrstvě
5. Sledování aktivity systémů během jejich provozu
6. Mechanizmy identifikace uživatelů a autorizace přístupu
7. Izolované prostředí pro chod jednotlivých komponent
8. Funkce vytvářející požadavky na souhlas lidského operátora k provedení některých činností
9. Systémy sledování bezpečnostních aktivit celého prostředí
10. Postupy řešení incidentů v případě zjištění útoku

Tento postup dobře odpovídá modelu vícevrstvé ochrany.

Mapa cvičení k jednotlivým modulům

Cvičení jsou realizována v pořadí odpovídajícím průběhu konkrétních modulů.

Kurz má celkem 10 modulů, avšak jen osm cvičení: u modulů 2 a 9 nejsou vyžadovány žádné praktické aktivity – jedná se pouze o interaktivní diskuse a shrnutí.

Každé cvičení je v tomto dokumentu přiřazeno k příslušnému modulu.

• Cvičení 01 (Modul 1)
  • Složka: 01-Introduction
  • Název cvičení: Prozkoumání systému s umělou inteligencí – co se skutečně odehrává na vedení komunikace
• Cvičení 02 (Modul 3)
  • Složka: 02-Prompt-Injection
  • Název cvičení: Útok na konverzačního robota a obejití jednoduchých filtrů
• Cvičení 03 (Modul 4)
  • Složka: 03-WAF-Basics
  • Název cvičení: Vytvoření pravidel WAF specifických pro ochranu systémů s AI
• Cvičení 04 (Modul 5)
  • Složka: 04-RAG-Security
  • Název cvičení: Otrávení dat v systému RAG
• Cvičení 05 (Modul 6)
  • Složka: 05-Agent-Security
  • Název cvičení: Ochrana autonomního agenta řízeného umělou inteligencí
• Cvičení 06 (Modul 7)
  • Složka: 06-Denial-of-Wallet
  • Název cvičení: Detekce pokusů o plýtvání zdroji využívanými systémy s umělou inteligencí
• Cvičení 07 (Modul 8)
  • Složka: 07-Detection
  • Název cvičení: Sledování výskytu nežádoucích vzorců chování AI systémů prostřednictvím jejich logů
• Cvičení 08 (Modul 10)
  • Složka: 08-Layered-Defense
  • Název cvičení: Sestavení komplexní architektury ochrany systémů s umělou inteligencí

Závěrečný projekt

Studenti budou obranu testovat na simulovaném firemním asistentovi využívajícím umělou inteligenci.

Útočníci se pokusí o:

1. Injekce promptů do systému
2. Zneužití nástrojů využívaných asistentem
3. Odhalení přihlašovacích údajů k daným rozhraním
4. Pokusy o manipulaci dat ukládaných do systému RAG
5. Vyvolání nadměrného využití výpočetní kapacity modelů LLM
6. Zvyšování autority daného agenta na úkor ostatních komponent systému

Týmy budou realizovat:

• Návrh a implementaci pravidel WAF
• Vytvoření politik pro ochranu provozu na úrovni brán určených pro AI modely
• Přístupy k monitorování aktivit systému během jeho provozu
• Konstrukci mechanismů ochrany aplikací před nežádoucími vlivem
• Systém řešení mimořádných situací v případě detekce útoku