Zkuste nás kontaktovat

Návrh Školení

Prostředí hrozeb pro umělou inteligenci

  • Proč je bezpečnost AI specifická: nedeterministické chování, neprůhledné uvažování systémů a prompty jako útočná plocha
  • Taxonomie útoků: útoky v průběhu tréninku, inferenci či v rámci dodavatelského řetězce
  • Model potenciálního útočníka: kdo a proč zaútočí na systémy AI

OWASP Top 10 pro aplikace s využitím velkých jazykových modelů

  • Injekce promptů: přímé i nepřímé způsoby útoku
  • Nebezpečné zacházení s výstupy a cross-plugin request forgery
  • Kontaminace tréninkových dat a rizika v dodavatelském řetězci
  • Odepření služeb modelu, únik citlivých informací a nadměrné oprávnění systémů
  • Praktická cvičení: vyzkoušejte si jednotlivé kategorie z OWASP proti testovací aplikaci

Red Teaming v oblasti injekcí promptů a jailbreaků

  • Klasifikace technik injekce: přímá, nepřímá, vícenásobná interakce či multimodální zásahy
  • Automatizovaný red teaming s využitím nástrojů Giskard, Garak a vlastních fuzzingových postupů
  • Klasifikace pokusů o jailbreak a hodnocení možností obrany
  • Vytvoření red teamingového frameworku určeného k průběžnému testování bezpečnosti velkých jazykových modelů

Útoky a obrana na úrovni modelů

  • Extrakce modelů: získávání vah a funkcionalit modelu prostřednictvím API dotazů
  • Útoky typu membership inference – určování, zda daná data patří do tréninkové sady
  • Adversariální příklady: drobné změny vstupních dat, které vedou k chybám klasifikátorů či embeddincích systémů
  • Kontaminace tréninkových dat – úmyslná manipulace s cílem vyvolat backdoory či snížit výkon modelu

Kontroly vstupů a výstupů pro zvýšení bezpečnosti

  • Sanitizace vstupů přesahující běžné webové obranné postupy
  • Filtrování výstupů – eliminace toxického obsahu, úniku osobních údajů či generování nebezpečného kódu
  • Využití „guardrails“ jako součást bezpečnostní infrastruktury – NeMo, Guardrails AI a vlastní politické směrnice
  • Vynucování strukturovaného formátu výstupů jako ochrana před nežádoucím chováním modelu

Bezpečnost dodavatelského řetězce pro modely AI

  • Ověřování původu modelů – kontrola jejich autenticity a integrity
  • Kontrola závislostí na knihovnách strojového učení a formátech reprezentace modelů
  • Bezpečné provozování modelů – využití sandboxingu, izolace sítě a principu minimálních oprávnění
  • Hodnocení fine-tunovaných či komunitárních modelů na přítomnost škodlivého kódu

Provozní bezpečnost systémů AI

  • Omezení přístupu k modelovým endpointům, databázím vektorů a nástrojům pro agenty AI
  • Zaznamenávání každé interakce s modelem i všech rozhodnutí pro účely auditování
  • Postupy reakce na incidenty specifické pro systémy AI – např. kompromitace samotného modelu
  • Pravidelné bezpečnostní testování v rámci CI/CD procesů určených k nasazení strojového učení

Vytváření programu zabezpečení AI

  • Model vyspělosti a strategický plán rozvoje bezpečnosti AI
  • Integrace bezpečnosti AI do stávajících programů zabezpečení aplikací a cloudových systémů
  • Rámce řízení a legislativní požadavky vztahující se na systémy umělé inteligence
  • Sestavení a udržování organizační metodiky bezpečnosti AI určené k průběžnému používání

Požadavky

  • Praktické zkušenosti s nasazováním modelů strojového učení nebo aplikací využívajících velké jazykové modely do produkce.
  • Znalost základních bezpečnostních konceptů jako je autentizace, autorizace a tvorba modelů hrozeb.
  • Dostatečná znalost jazyka Python pro realizaci cvičení zaměřených na adversariální testování.

Cílová skupina

  • Bezpečnostní inženýři, kteří se chtějí specializovat na oblast AI a strojového učení.
  • Inženýři strojového učení zodpovědní za bezpečnost a spolehlivost modelů.
  • Členové red teamů, kteří rozšiřují svá testovací aktivity i na systémy umělé inteligence.
 14 Hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie