Zkuste nás kontaktovat
 Doba trvání 35 hodiny

Návrh Školení

Úvod a základy diagnostiky

  • Úvod do režimů selhání v systémech LLM a častých problémů specifických pro Ollama
  • Zavedení reprodukovatelných experimentů a kontrolovaných prostředí
  • Nástrojová sada pro ladění: lokální logy, zachycení požadavků/odkazů a sandboxování

Reprodukování a izolace chyb

  • Techniky pro tvorbu minimálních příkladů selhání a semínek
  • Interakce se stavem vs. bez stavu: izolování chyb souvisejících se kontextem
  • Determinismus, náhoda a ovládání nedeterministického chování

Chování modelu a metriky hodnocení

  • Kvantitativní metriky: přesnost, varianty ROUGE/BLEU, kalibrace a proxy perplexity
  • Kvalitativní hodnocení: bodování s lidskou účastí (human-in-the-loop) a návrh hodnotících rubrik
  • Kontroly věrnosti specifické pro úlohy a kritéria akceptace

Automatizované testování a regression

  • Jednotková testování promptů a komponent, scenárové a end-to-end testy
  • Vytvoření regressionních sad a baseline zlatých příkladů
  • Integrace CI/CD pro aktualizace modelů Ollama a automatizovaná validační brána

Sledovatelnost a monitorování

  • Strukturovaná protokolování, distribuované stopy a korelační ID
  • Klíčové operační metriky: latence, využití tokenů, míra chyb a signály kvality
  • Upozornění, dashboardy a SLI/SLO pro služby založené na modelech

Pokročilá analýza příčin

  • Sledování přes graficky znázorněné prompty, volání nástrojů a vícekoloové toky
  • Komparativní A/B diagnostika a ablační studie
  • Původ dat, ladění datasetů a řešit selhání vyvolaná datovými sadami

Bezpečnost, robustnost a strategie nápravy

  • Mitigace: filtrování, zakotvení (grounding), augmentace retrievem a promptové kostry
  • Patterny rollbacks, canary a postupného nasazování pro aktualizace modelů
  • Post-mortemy, poučení a smyčky neustálého zlepšování

Shrnutí a další kroky

Požadavky

  • Silná zkušenost s vývojem a nasazováním aplikací založených na LLM
  • Znalost pracovních toků Ollama a hostování modelů
  • Ovládání jazyka Python, technologie Docker a základních nástrojů pro sledovatelnost

Cílová skupina

  • AI inženýři
  • Profesionálové v oblasti MLOps
  • QA týmy odpovědné za produkční systémy LLM

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie