Zkuste nás kontaktovat

Návrh Školení

Základy: Modely hrozeb u agentických systémů AI

  • Typy hrozeb v agentických systémech: zneužití, eskalace oprávnění, únik dat a rizika v dodavatelském řetězci
  • Profily protivníků a jejich schopnosti zaměřené na autonomní agenty
  • Identifikace klíčových aktiv, hranic důvěry a kontrolních bodů pro agenty

Řízení, politika a správa rizik

  • Rámce řízení pro agentické systémy (role, odpovědnosti, schvalovací mechanismy)
  • Návrh politik: pravidla použití, eskalace oprávnění, zacházení s daty a jejich auditovatelnost
  • Požadavky na soulad s předpisy a shromažďování důkazů pro auditorské účely

Identita a ověřování nehumánních entit u agentů

  • Návrh systémů identity pro agenty: služební účty, JWT tokeny a dočasné přihlašovací údaje
  • Využití principu minimálních oprávnění a technik vydávání přihlašovacích údajů na vyžádání
  • Správa životního cyklu identit, jejich obnova, delegace a odvolávání

Řízení přístupu, utajené informace a ochrana dat

  • Detailní modely řízení přístupu a způsoby ověřování schopností agentů
  • Správa tajných informací, šifrování dat během přenosu i v klidu a minimalizace sběru dat
  • Ochrana citlivých zdrojů znalostí a osobních údajů před neoprávněným přístupem ze strany agentů

Sledování, audit a reakce na incidenty

  • Návrh systémů telemetrie pro sledování chování agentů: vysledování záměru, záznamy příkazů a jejich původ
  • Integrace s nástroji typu SIEM, nastavení prahových hodnot upozornění a připravenost na forenzní analýzu
  • Postupy a instrukce pro reakci na incidenty související s agenty včetně jejich omezení

Red-teaming agentických systémů

  • Plánování cvičení red-teaming: rozsah, pravidla zapojení a zajištění bezpečnosti během testů
  • Metody útoků ze strany protivníků: vstřikování špatných instrukcí, zneužití nástrojů, manipulace s logikou a zneužití API
  • Realizace kontrolovaných útoků spolu s měřením jejich dopadu a míry ohrožení systému

Zpevňování systémů a snižování rizik

  • Inženýrská opatření: omezení počtu odpovědí, kontrola možností jednotlivých agentů a využití sandboxů
  • Řídicí mechanismy založené na politikách: schvalovací postupy, zapojení lidských operátorů a vazby na systém řízení
  • Obranné metody na úrovni modelu i samotných příkazů: validace vstupů, standardizace dat a filtrování výstupů

Praktická implementace bezpečného nasazování agentů

  • Modely nasazení: testovací prostředí, kánárkové verze a postupné uvedení agentů do provozu
  • Procesy kontroly změn, testovací pipeline a preventivní kontroly bezpečnosti před nasazením
  • Vzájemná spolupráce mezi jednotlivými týmy: bezpečnostní odborníci, právníci, vývojáři a operátorové v rámci postupů zavedených před nasazením

Závěrečné cvičení: Red-team versus Blue-team

  • Realizace simulovaného útoku red-teamu proti izolovanému prostředí s agenty
  • Obrana, detekce a náprava v roli blue-teamu s využitím nastavených opatření a sledování chování systému
  • Představení zjištění, plánů nápravy a navrhovaných změn v politice bezpečnosti

Shrnutí a další kroky

Požadavky

  • Solidní znalosti v oblasti bezpečnostního inženýrství, správy systémů nebo cloudových operací
  • Základní orientace v konceptech umělé inteligence/strojového učení a chování velkých jazykových modelů (LLM)
  • Praktické zkušenosti se správou identit a přístupu (IAM) a s návrhem bezpečných systémů

Cílová skupina

  • Bezpečnostní inženýři a specialisté na red-teaming
  • Inženýři provozu AI a tvůrci platformy
  • Manažeři compliance a rizik
  • Vedoucí inženýři zodpovědní za nasazování agentů
 21 Hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie