Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Doba trvání 35 hodiny
Návrh Školení
Úvod a diagnostické základy
- Přehled režimů selhání v systémech LLM a častých specifických problémů Ollama
- Nastavení reprodukovatelných experimentů a kontrolovaného prostředí
- Nástroje pro ladění: lokální logy, snímky požadavků/odpovědí a izolované prostředí (sandboxing)
Reprodukce a izolace selhání
- Techniky pro tvorbu minimálních příkladů selhání a osiv (seeds)
- Interakce se stavem vs. bez stavu: izolace chyb souvisejících s kontextem
- Determinismus, náhodnost a ovládání nedeterministického chování
Hodnocení chování a metriky
- Kvantitativní metriky: přesnost, varianty ROUGE/BLEU, kalibrace a náhradní ukazatele perplexity
- Kvalitativní hodnocení: hodnocení s lidským účastněním (human-in-the-loop) a návrh kritérií (rubrik)
- Specifické kontroly věrnosti úloh a příjmová kritéria
Automatizované testování a regrese
- Unit testy pro prompty a komponenty, testy scénářů a end-to-end testy
- Vytvoření souborů regrese a basline zlatých příkladů (golden examples)
- Integrace CI/CD pro aktualizace modelů Ollama a automatizovaná validační brána
Observabilita a monitorování
- Strukturované logování, distribuované stopy a korelační ID
- Klíčové operační metriky: latence, využití tokenů, míra chyb a signály kvality
- Uspořádání upozornění (alerting), přehledy (dashboards) a SLI/SLO pro služby založené na modelech
Pokročilá analýza příčin
- Sledování přes graficky zobrazené prompty, volání nástrojů a vícekolové toké
- Komparativní diagnóza A/B a studie ablace
- Původ dat, ladění datasetů a řešení chyb vyvolaných datasetem
Bezpečnost, robustnost a strategie nápravy
- Mírnění rizik: filtrování, zakotvení (grounding), augmentace retrievalu a scaffolding promptů
- Vzorové schémy pro rollback, canarizaci a fázované nasazování aktualizací modelů
- Pohledy po nehodě (post-mortems), získané zkušenosti a cykly nepřetržitého zlepšování
Shrnutí a další kroky
Požadavky
- Silná zkušenost s budováním a nasazováním aplikací LLM
- Seznámení s pracovními postupy Ollama a hostingem modelů
- Známost jazyka Python, Docker a základních nástrojů pro observabilitu
Cílová skupina
- AI inženýři
- Odborníci na MLOps
- Skupiny QA zodpovědné za produkční systémy LLM