Vytváření bezpečných a odpovědných aplikací využívajících velké jazykové modely Počítačový Kurz

Přehled architektury velkých jazykových modelů a možných hrozeb

• Jak se LLM vytvářejí, nasazují a přistupují k nim prostřednictvím API
• Hlavní komponenty architektury aplikací využívajících LLM (prompty, agenty, paměť, API)
• Kde a jak mohou v reálném provozu vznikat bezpečnostní problémy

Injekce promtů a techniky obcházení ochranných mechanismů

• Co je to injekce promtů a proč představuje hrozbu
• Příklady přímé i nepřímé injekce promtů
• Metody obcházení bezpečnostních filtrů<\/li>
• Způsoby detekce a prevence takových útoků

Únik dat a rizika spojená s ochranou soukromí

• Nevědomé vyzrazení citlivých informací prostřednictvím odpovědí modelu
• Únik osobních údajů a nevhodné využití paměti modelu
• Návrh promtů respektujících soukromí a techniky Retrieval-Augmented Generation (RAG)

Filtrování a kontrola výstupů generovaných velkými jazykovými modely

• Použití nástroje Guardrails AI k filtrování a validaci obsahu
• Definování struktury a omezení pro výstupní data
• Sledování a logování nebezpečných či nežádoucích výstupů

Přístupy založené na lidské kontrole a pracovních postupech

• Kdy a kde je vhodné zapojit do procesů lidský prvek
• Nastavení schvalovacích mechanismů, prahových hodnot a záložních řešení
• Kalibrace důvěry v systém a význam interpretability modelu

Bezpečné designové vzory pro aplikace využívající velké jazykové modely

• Aplikování principů minimálních oprávnění a izolace prostředí při volání API či použití agentů
• Omezení počtu požadavků, regulace využívání systému a detekce zneužití
• Spolehlivé řetězení operací pomocí LangChain a izolaci jednotlivých promtů

Compliance, logování a správa systémů

• Zajištění auditovatelnosti výstupů generovaných LLM
• Sledování procesů a kontrola verzí promtů
• Přizpůsobení systému interním bezpečnostním politickým požadavkům i legislativě<\/li>

Shrnutí a další kroky