Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Úvod do LLMOps
- LLMOps versus MLOps: specifika provozu velkých jazykových modelů
- Cyklus života aplikací s využitím LLM: tvorba promptů, hodnocení, nasazení a monitorování
- Kontrolní seznam připravenosti produktu na nasazení u generativních AI aplikací
Správa a verzování promptů
- Systémy šablon pro vytváření promptů a jejich dynamická konfigurace
- Semantické verzování promptů s automatickým testováním regrese
- Registry promptů a pracovní postupy spolupráce mezi týmy
Hodnocení LLM ve velkém měřítku
- Klíčová hlediska hodnocení: přesnost, relevance, bezpečnost a spolehlivost výstupů
- Metriky určené LLM k hodnocení vlastních výsledků i standardizovaná lidská hodnocení
- Automatizované frameworky: RAGAS, DeepEval a také vlastní evaluátory
- Zavedení kvalitativních kontrol do CI/CD procesů při nasazování LLM
Bezpečnostní opatření a řízení obsahu
- Ochranné mechanismy pro vstupní i výstupní data: nástroje jako NeMo Guardrails a Guardrails AI
- Detekce osobních údajů, filtrování toxického obsahu a nastavení tématických hranic
- Obranné strategie proti pokusům o obejití bezpečnostních mechanismů využívajícím prompt injection či jailbreak
- Testování odolnosti aplikací pomocí red-teaming metodik pro ověření jejich bezpečnosti
Monitorování a sledování LLM
- Sběr telemetrických dat: využití tokenů, latence, náklady i metriky kvality výstupů
- Detekce změn v chování modelů nebo jejich vestavěných vektorových prostorů
- Sledování konverzací mezi uživatelem a modelem pomocí sledovacích stop na úrovni jednotlivých relací
- Vytváření dashboardů a upozornění s využitím nástrojů LangSmith, Arize a OpenTelemetry
Brány AI a orchestrace modelů
- Routing požadavků mezi různými poskytovateli pomocí LiteLLM či Portkey
- Strategie zálohování, opakovaných pokusů o spuštění a automatického přerušení selhávajících dotazů
- Správa výběru modelů na základě nákladové efektivity i vyrovnávání zátěže mezi nimi
- Řízení počtu žádostí za sekundu, kvót a správa přístupových klíčů k jednotlivým API
Optimalizace výkonu
- Využívání semantického ukládání do vyrovnávacích pamětí s podporou vektorových databází i přesných shod
- Zajištění strukturovanosti výstupů pomocí omezeného dekódování vstupů
- Pracovní vzory pro skupinové zpracování, streamování dat a efektivní paralelizaci požadavků
- Snižování latence u modulů v různých provozních prostředích a od různých poskytovatelů
Řízení, dodržování předpisů a audit
- Sledovací systémy pro LLM: evidence promptů, odpovědí i rozhodnutí vzniklých na základě jejich analýzy
- Požadavky na umístění dat a ochranu soukromí při používání LLM API služeb
- Použití principů policy-as-code při nastavení pravidel využití velkých jazykových modelů v rámci organizace
- Tvorba interních příruček určených k operacím s velkými jazykovými modely
Požadavky
- Praktické zkušenosti s tvorbou nebo integrací aplikací využívajících velké jazykové modely.
- Orientace v Pythonu a práce s REST API.
- Základní znalosti o technikách inženýrství promptů.
Cílová skupina
- Inženýři strojového učení a specialisté na MLOps, kteří přecházejí k operacím s velkými jazykovými modely.
- Inženýři platformních řešení zodpovědní za infrastrukturu pro LLM.
- Techničtí vedoucí, kteří spravují produkční nasazení generativní AI aplikací.
14 Hodiny
Reference (2)
Využívání správných a efektivních promptů
Marses Pacaldo
Kurz - Generative AI and Prompt Engineering for Corporate Professionals
Přeloženo strojem
Interaktivní styl, cvičení
Tamas Tutuntzisz
Kurz - Introduction to Prompt Engineering
Přeloženo strojem