Návrh Školení

Vstup a diagnostické základy

  • Přehled selhání v systémech LLM a běžných problémů specifických pro Ollama
  • Zajištění opakovatelných experimentů a ovládaných prostředí
  • Nástroje pro ladění: místní logy, zachycení požadavků/zpráv odpovědí a sandboxing

Reprodukování a izolace selhání

  • Techtiky pro vytvoření minimálních příkladů s chybami a semínků
  • Složité vs. stateless interakce: izolace kontextově závislých chyb
  • Determinismus, náhodnost a řízení nedeterministického chování

Chování hodnocení a metriky

  • Kvantitativní metriky: přesnost, varianty ROUGE/BLEU, kalibrace a proxy pro perplexitu
  • Kvalitativní hodnocení: ocenění s lidským zasahem a návrh rozpisů
  • Úkolu specifické kontrolní testy a přijatelnost kritérií

Automatizované testování a regrese

  • Jednotková testování pro vyzvě a komponenty, scenáře a end-to-end testy
  • Vytvoření regresních sad a zlatých příkladů referenčních hodnot
  • Integrace CI/CD pro aktualizace modelu Ollama a automatické validaci brány

Přehlednost a monitoring

  • Strukturované logování, distribuovaná stopa a ID korelace
  • Klíčové provozní metriky: prodlevy, použití tokenů, frekvence chyb a signály kvality
  • Upozorňování, předlohy a SLIs/SLOs pro model podporované služby

Pokročilá analýza základních příčin

  • Sledování skrze grafy vyzvě, volání nástrojů a vícekrokových toků
  • Komparativní A/B diagnostika a studie ablative
  • Pojádrení dat, ladění souborů dat a řešení selhání způsobených datasety

Bezpečnost, odolnost a strategie vyřešení

  • Zmírnění: filtrace, základna, užití dat a vyzva ramínkování
  • Rollback, canary a fázového rozevření vzoru pro aktualizaci modelu
  • Post-mortems, naučených lekcích a cykly bezeskonána pro zlepšení

Souhrn a další kroky

Požadavky

  • Dobrou zkušenost s vytvářením a nasazováním aplikací LLM
  • Znalost pracovních postupů Ollama a hostování modelů
  • Pohodlné používání Pythonu, Dockeru a základních nástrojů pro pozorovatelnost systémů

Cílová skupina

  • Inženýři AI
  • Profesionáli v oblasti ML Ops
  • Týmy QA odpovědné za produkční systémy LLM
 35 hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie