Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Prostředí hrozeb pro umělou inteligenci
- Proč je bezpečnost AI specifická: nedeterministické chování, neprůhledné uvažování systémů a prompty jako útočná plocha
- Taxonomie útoků: útoky v průběhu tréninku, inferenci či v rámci dodavatelského řetězce
- Model potenciálního útočníka: kdo a proč zaútočí na systémy AI
OWASP Top 10 pro aplikace s využitím velkých jazykových modelů
- Injekce promptů: přímé i nepřímé způsoby útoku
- Nebezpečné zacházení s výstupy a cross-plugin request forgery
- Kontaminace tréninkových dat a rizika v dodavatelském řetězci
- Odepření služeb modelu, únik citlivých informací a nadměrné oprávnění systémů
- Praktická cvičení: vyzkoušejte si jednotlivé kategorie z OWASP proti testovací aplikaci
Red Teaming v oblasti injekcí promptů a jailbreaků
- Klasifikace technik injekce: přímá, nepřímá, vícenásobná interakce či multimodální zásahy
- Automatizovaný red teaming s využitím nástrojů Giskard, Garak a vlastních fuzzingových postupů
- Klasifikace pokusů o jailbreak a hodnocení možností obrany
- Vytvoření red teamingového frameworku určeného k průběžnému testování bezpečnosti velkých jazykových modelů
Útoky a obrana na úrovni modelů
- Extrakce modelů: získávání vah a funkcionalit modelu prostřednictvím API dotazů
- Útoky typu membership inference – určování, zda daná data patří do tréninkové sady
- Adversariální příklady: drobné změny vstupních dat, které vedou k chybám klasifikátorů či embeddincích systémů
- Kontaminace tréninkových dat – úmyslná manipulace s cílem vyvolat backdoory či snížit výkon modelu
Kontroly vstupů a výstupů pro zvýšení bezpečnosti
- Sanitizace vstupů přesahující běžné webové obranné postupy
- Filtrování výstupů – eliminace toxického obsahu, úniku osobních údajů či generování nebezpečného kódu
- Využití „guardrails“ jako součást bezpečnostní infrastruktury – NeMo, Guardrails AI a vlastní politické směrnice
- Vynucování strukturovaného formátu výstupů jako ochrana před nežádoucím chováním modelu
Bezpečnost dodavatelského řetězce pro modely AI
- Ověřování původu modelů – kontrola jejich autenticity a integrity
- Kontrola závislostí na knihovnách strojového učení a formátech reprezentace modelů
- Bezpečné provozování modelů – využití sandboxingu, izolace sítě a principu minimálních oprávnění
- Hodnocení fine-tunovaných či komunitárních modelů na přítomnost škodlivého kódu
Provozní bezpečnost systémů AI
- Omezení přístupu k modelovým endpointům, databázím vektorů a nástrojům pro agenty AI
- Zaznamenávání každé interakce s modelem i všech rozhodnutí pro účely auditování
- Postupy reakce na incidenty specifické pro systémy AI – např. kompromitace samotného modelu
- Pravidelné bezpečnostní testování v rámci CI/CD procesů určených k nasazení strojového učení
Vytváření programu zabezpečení AI
- Model vyspělosti a strategický plán rozvoje bezpečnosti AI
- Integrace bezpečnosti AI do stávajících programů zabezpečení aplikací a cloudových systémů
- Rámce řízení a legislativní požadavky vztahující se na systémy umělé inteligence
- Sestavení a udržování organizační metodiky bezpečnosti AI určené k průběžnému používání
Požadavky
- Praktické zkušenosti s nasazováním modelů strojového učení nebo aplikací využívajících velké jazykové modely do produkce.
- Znalost základních bezpečnostních konceptů jako je autentizace, autorizace a tvorba modelů hrozeb.
- Dostatečná znalost jazyka Python pro realizaci cvičení zaměřených na adversariální testování.
Cílová skupina
- Bezpečnostní inženýři, kteří se chtějí specializovat na oblast AI a strojového učení.
- Inženýři strojového učení zodpovědní za bezpečnost a spolehlivost modelů.
- Členové red teamů, kteří rozšiřují svá testovací aktivity i na systémy umělé inteligence.
14 Hodiny