Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Doba trvání 35 hodiny
Návrh Školení
Úvod a základy diagnostiky
- Úvod do režimů selhání v systémech LLM a častých problémů specifických pro Ollama
- Zavedení reprodukovatelných experimentů a kontrolovaných prostředí
- Nástrojová sada pro ladění: lokální logy, zachycení požadavků/odkazů a sandboxování
Reprodukování a izolace chyb
- Techniky pro tvorbu minimálních příkladů selhání a semínek
- Interakce se stavem vs. bez stavu: izolování chyb souvisejících se kontextem
- Determinismus, náhoda a ovládání nedeterministického chování
Chování modelu a metriky hodnocení
- Kvantitativní metriky: přesnost, varianty ROUGE/BLEU, kalibrace a proxy perplexity
- Kvalitativní hodnocení: bodování s lidskou účastí (human-in-the-loop) a návrh hodnotících rubrik
- Kontroly věrnosti specifické pro úlohy a kritéria akceptace
Automatizované testování a regression
- Jednotková testování promptů a komponent, scenárové a end-to-end testy
- Vytvoření regressionních sad a baseline zlatých příkladů
- Integrace CI/CD pro aktualizace modelů Ollama a automatizovaná validační brána
Sledovatelnost a monitorování
- Strukturovaná protokolování, distribuované stopy a korelační ID
- Klíčové operační metriky: latence, využití tokenů, míra chyb a signály kvality
- Upozornění, dashboardy a SLI/SLO pro služby založené na modelech
Pokročilá analýza příčin
- Sledování přes graficky znázorněné prompty, volání nástrojů a vícekoloové toky
- Komparativní A/B diagnostika a ablační studie
- Původ dat, ladění datasetů a řešit selhání vyvolaná datovými sadami
Bezpečnost, robustnost a strategie nápravy
- Mitigace: filtrování, zakotvení (grounding), augmentace retrievem a promptové kostry
- Patterny rollbacks, canary a postupného nasazování pro aktualizace modelů
- Post-mortemy, poučení a smyčky neustálého zlepšování
Shrnutí a další kroky
Požadavky
- Silná zkušenost s vývojem a nasazováním aplikací založených na LLM
- Znalost pracovních toků Ollama a hostování modelů
- Ovládání jazyka Python, technologie Docker a základních nástrojů pro sledovatelnost
Cílová skupina
- AI inženýři
- Profesionálové v oblasti MLOps
- QA týmy odpovědné za produkční systémy LLM