Zkuste nás kontaktovat
 Doba trvání 35 hodiny

Návrh Školení

Úvod a diagnostické základy

  • Přehled režimů selhání v systémech LLM a častých specifických problémů Ollama
  • Nastavení reprodukovatelných experimentů a kontrolovaného prostředí
  • Nástroje pro ladění: lokální logy, snímky požadavků/odpovědí a izolované prostředí (sandboxing)

Reprodukce a izolace selhání

  • Techniky pro tvorbu minimálních příkladů selhání a osiv (seeds)
  • Interakce se stavem vs. bez stavu: izolace chyb souvisejících s kontextem
  • Determinismus, náhodnost a ovládání nedeterministického chování

Hodnocení chování a metriky

  • Kvantitativní metriky: přesnost, varianty ROUGE/BLEU, kalibrace a náhradní ukazatele perplexity
  • Kvalitativní hodnocení: hodnocení s lidským účastněním (human-in-the-loop) a návrh kritérií (rubrik)
  • Specifické kontroly věrnosti úloh a příjmová kritéria

Automatizované testování a regrese

  • Unit testy pro prompty a komponenty, testy scénářů a end-to-end testy
  • Vytvoření souborů regrese a basline zlatých příkladů (golden examples)
  • Integrace CI/CD pro aktualizace modelů Ollama a automatizovaná validační brána

Observabilita a monitorování

  • Strukturované logování, distribuované stopy a korelační ID
  • Klíčové operační metriky: latence, využití tokenů, míra chyb a signály kvality
  • Uspořádání upozornění (alerting), přehledy (dashboards) a SLI/SLO pro služby založené na modelech

Pokročilá analýza příčin

  • Sledování přes graficky zobrazené prompty, volání nástrojů a vícekolové toké
  • Komparativní diagnóza A/B a studie ablace
  • Původ dat, ladění datasetů a řešení chyb vyvolaných datasetem

Bezpečnost, robustnost a strategie nápravy

  • Mírnění rizik: filtrování, zakotvení (grounding), augmentace retrievalu a scaffolding promptů
  • Vzorové schémy pro rollback, canarizaci a fázované nasazování aktualizací modelů
  • Pohledy po nehodě (post-mortems), získané zkušenosti a cykly nepřetržitého zlepšování

Shrnutí a další kroky

Požadavky

  • Silná zkušenost s budováním a nasazováním aplikací LLM
  • Seznámení s pracovními postupy Ollama a hostingem modelů
  • Známost jazyka Python, Docker a základních nástrojů pro observabilitu

Cílová skupina

  • AI inženýři
  • Odborníci na MLOps
  • Skupiny QA zodpovědné za produkční systémy LLM

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie