Pokročilý kurz o umělých inteligencích: Inženýrství, bezpečnost a řízení produkčních systémů Počítačový Kurz

Den 1

Struktura moderního AI agenta

Agenti jako autonomní systémy pro uvažování a jednání, na rozdíl od chatbotů

Reaktivní, proaktivní, hybridní a cílově orientované modely chování agentů

Klíčové komponenty: vnímání, plánování, paměť, používání nástrojů a akce

Rozdíly mezi jednočlenným a víceagentním návrhem systémů

Frameworky pro agenty a moderní technologická řešení

LangChain, LlamaIndex, AutoGen, CrewAI – jejich vlastnosti a rozdíly

Srovnání s tradičními frameworky jako JADE a SPADE

Výběr vhodného frameworku podle produkčních požadavků

Používání nástrojů, volání funkcí a generování strukturovaných výstupů

Praktické cvičení: vytvoření jednoduchého Pythonovského agenta s možností volat externí nástroje

Architektura víceagentních systémů

Centralizované, decentralizované a hybridní modely organizace víceagentních systémů

FIPA ACL, přenos zpráv a moderní alternativy

Koordinační mechanismy: plánování, vyjednávání a synchronizace

Vznik nového chování a samoorganizace v komunitách agentů

Rozhodovací procesy a učení agentů

Teorie her při interakci spolupracujících i soupeřících agentů

Učení pomocí posilování v prostředí více agentů

Přenos znalostí a sdílení informací mezi jednotlivými agenty

Řešení konfliktů a budování důvěry mezi koordinujícími se agenty

Den 2

Multimodální základy pro agenty

Využití více typů vstupů – text, obrázek, řeč i video – v jednotném pracovním toku agentů

Hlavní multimodální modely: GPT-4 Vision, Gemini, Claude, Whisper

Metody kombinace různých typů dat během uvažování agenta

Kompromisy mezi latencí, náklady a přesností v multimodálních systémech

Vytváření vrstvy vnímání

Obrábění obrazů pro agenty: klasifikace, popisky, detekce objektů

Rozpoznávání řeči pomocí Whisper ASR a proudové transkripce

Syntéza mluveného projevu a přirozená interakce hlasem

Propojení výstupů z vnímání s uvažováním řízeným LLM a volbou nástrojů

Praktické cvičení – Vytvoření multimodálního agenta v Pythonu

Definice úkolu, okruhu kontextu a seznamu dostupných nástrojů pro agenta

Propojení API GPT-4 Vision a Whisper do celého systému

Implementace paměti, stavování a správy konverzací

Přidání bezpečných možností volání nástrojů s reálnými efekty v praxi

Praktické cvičení – Koordinace systému více agentů

Vytváření specializovaných agentů pomocí AutoGen či CrewAI

Určování rolí, povinností a protokolů komunikace mezi agenty

Rozdělování zdrojů a koordinace v simulovaném prostředí

Zaznamenávání myšlenkových procesů agentů, jejich volání nástrojů i rozhodnutí pro kontrolu a auditování

Den 3

Rizika produkčních AI agentů

Co činí agenty unikátně zranitelnými oproti běžnému softwaru

Rozsah potenciálních útoků: data, modely, prompty, nástroje, výstupy a rozhraní

Modelování bezpečnostních hrozeb u systémů s autonomním využitím nástrojů

Srovnání postupů kybernetické ochrany AI a tradičního IT zabezpečení

Praktická práce s adversarial útoky

Adversarial vzory a techniky narušování: FGSM, PGD, DeepFool

Rozdíly mezi útoky v uzavřeném a otevřeném režimu testování

Model inversion a odvození citlivých informací z modelů

Otrávení trénovacích dat a vkládání zadních vrát během výcviku

Injekce promptů, narušování bezpečnosti a neoprávněné využití nástrojů u agentů založených na LLM

Obranné postupy a posilování odolnosti modelů

Adversarial trénink a strategie rozšíření trénovacích dat

Distilační metody zvyšující robustnost a další techniky ochrany

Předzpracování vstupů, maskování gradientů a regularizace výpočtů

Differentiální soukromí, přidávání šumu a správa režimu ochrany dat

Federativní učení a bezpečné shromažďování informací pro distribuovaný výcvik

Praktické využití nástroje Adversarial Robustness Toolbox

Simulace útoků na multimodálního agenta vytvořeného během druhého dne kurzu

Měření odolnosti systému při narušování a hodnocení poklesu výkonnosti

Postupná implementace obranných opatření s následným testováním úspěšnosti protiopatření

Testování odolnosti cest využívajících nástroje a způsobů narušení promptů

Den 4

Rámce řízení rizik při vývoji AI

NIST AI Risk Management Framework: řízení, mapování, měření a zvládání rizik

Norma ISO/IEC 42001 a další nově vytvářené standardy pro AI

Propojení rizik spojených s AI se stávajícími podnikovými systémy řízení rizik a compliance

Požadavky na odpovědnost, kontrolovatelnost a dokumentaci v oblasti AI

Dodržování předpisů u agenty řízených systémů

Evropský zákon o umělé inteligenci: kategorie rizik, zakázané a povolené postupy pro vysoce rizikové systémy

Dopady GDPR a CCPA na datové toky agentů

Výkonný příkaz USA týkající se bezpečné, zabezpečené a důvěryhodné AI

Odborné pokyny pro finanční odvětví, zdravotnictví i veřejný sektor

Řízení rizik spojených s využíváním nástrojů AI od třetích stran a jejich dodavateli

Etika, předsudky a vysvětlitelnost výsledků

Detekce a snižování vlivu nežádoucích předsudků u vnímání i uvažování agentů

Vysvětlitelnost výsledků jako důležitá součást bezpečnosti systémů

Fairness, možné negativní dopady a zodpovědné nasazení agentů

Navrhování agentů, které budou inkluzivní a umožní kontrolu jejich chování

Nasazení v produkčním prostředí, monitorování a reakce na incidenty

Bezpečné postupy nasazení jak jednočlenných tak víceagentních systémů

Průběžné sledování odchylek, anomálií i potenciálních zneužití agentů

Záznamy akcí agentů, jejich auditní stopy a možnosti forenzní analýzy

Postupy reakce na bezpečnostní incidenty v AI systémech a návrat do normálu

Příklady skutečných narušení produktových agentů a získané poznatky z nich

Závěrečná syntéza a celkový přehled

Rekapitulace vytvořeného multimodálního systému více agentů během kurzu

Přezkum kompletního toku práce: navrhování, konstrukci, zabezpečení, řízení i nasazení

Samohodnocení systému podle parametrů stanovených v rámci NIST AI RMF

Pohled do budoucnosti: nejnovější trendy ve vývoji agentních systémů a bezpečnosti AI

Shrnutí a další kroky