Zkuste nás kontaktovat

Návrh Školení

Úvod do Red Teamingu systémů umělé inteligence

  • Přehled hrozeb v prostředí AI
  • Role týmů Red Teamingu v oblasti bezpečnosti AI
  • Etické a právní aspekty Red Teamingu

Adversariální strojové učení

  • Typy útoků: evaze, otrávení dat, extrakce informací a odvození citlivých údajů
  • Generování adversariálních příkladů (např. FGSM, PGD)
  • Cílené a necílené útoky – měřítka jejich úspěšnosti

Testování odolnosti modelů

  • Vyhodnocování schopnosti modelů čelit narušením
  • Identifikace slepých míst a režimů selhání modelů
  • Simulace stresového testování klasifikačních, vizuálních i jazykových modelů AI

Red Teaming procesů využívajících umělou inteligenci

  • Povrch ohrožení celých systémů AI: data, modely a jejich nasazení
  • Využití slabin v API a rozhraních modelů k útokům
  • Reverzní inženýrství chování a výstupů modelů

Simulace a nástroje pro Red Teaming

  • Využití nástroje Adversarial Robustness Toolbox (ART)
  • Red Teaming s pomocí nástrojů TextAttack a IBM ART
  • Nástroje pro vytváření izolovaných prostředí, monitorování a sledování aktivit

Strategie Red Teaming a spolupráce s obrannými týmy

  • Navrhování cvičení a stanovení cílů pro Red Teaming
  • Předávání zjištění týmům zajišťujícím obranu systémů
  • Začlenění Red Teamingu do procesů řízení rizik v oblasti AI

Závěr a další kroky

Požadavky

  • Znalost architektur strojového učení a hlubokého učení
  • Praxe s jazykem Python a frameworky pro ML (např. TensorFlow, PyTorch)
  • Orientace v konceptech kybernetické bezpečnosti či technikách ofenzivní bezpečnosti

Cílová skupina

  • Výzkumníci v oblasti bezpečnosti
  • Týmy pro ofenzivní bezpečnost
  • Odborníci na ověřování AI a Red Teaming specialisté
 14 Hodiny

Počet účastníků


Cena za účastníka

Reference (3)

Nadcházející kurzy

Související kategorie