Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Vstup a diagnostické základy
- Přehled selhání v systémech LLM a běžných problémů specifických pro Ollama
- Zajištění opakovatelných experimentů a ovládaných prostředí
- Nástroje pro ladění: místní logy, zachycení požadavků/zpráv odpovědí a sandboxing
Reprodukování a izolace selhání
- Techtiky pro vytvoření minimálních příkladů s chybami a semínků
- Složité vs. stateless interakce: izolace kontextově závislých chyb
- Determinismus, náhodnost a řízení nedeterministického chování
Chování hodnocení a metriky
- Kvantitativní metriky: přesnost, varianty ROUGE/BLEU, kalibrace a proxy pro perplexitu
- Kvalitativní hodnocení: ocenění s lidským zasahem a návrh rozpisů
- Úkolu specifické kontrolní testy a přijatelnost kritérií
Automatizované testování a regrese
- Jednotková testování pro vyzvě a komponenty, scenáře a end-to-end testy
- Vytvoření regresních sad a zlatých příkladů referenčních hodnot
- Integrace CI/CD pro aktualizace modelu Ollama a automatické validaci brány
Přehlednost a monitoring
- Strukturované logování, distribuovaná stopa a ID korelace
- Klíčové provozní metriky: prodlevy, použití tokenů, frekvence chyb a signály kvality
- Upozorňování, předlohy a SLIs/SLOs pro model podporované služby
Pokročilá analýza základních příčin
- Sledování skrze grafy vyzvě, volání nástrojů a vícekrokových toků
- Komparativní A/B diagnostika a studie ablative
- Pojádrení dat, ladění souborů dat a řešení selhání způsobených datasety
Bezpečnost, odolnost a strategie vyřešení
- Zmírnění: filtrace, základna, užití dat a vyzva ramínkování
- Rollback, canary a fázového rozevření vzoru pro aktualizaci modelu
- Post-mortems, naučených lekcích a cykly bezeskonána pro zlepšení
Souhrn a další kroky
Požadavky
- Dobrou zkušenost s vytvářením a nasazováním aplikací LLM
- Znalost pracovních postupů Ollama a hostování modelů
- Pohodlné používání Pythonu, Dockeru a základních nástrojů pro pozorovatelnost systémů
Cílová skupina
- Inženýři AI
- Profesionáli v oblasti ML Ops
- Týmy QA odpovědné za produkční systémy LLM
35 hodiny