Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Úvod a základy diagnostiky
- Přehled nejčastějších chybových scénářů u systémů s velkými jazykovými modely a konkrétních problémů v prostředí Ollama
- Vytváření reprodukovatelných experimentů a řízené prostředí pro testování
- Sada nástrojů pro ladění: lokální protokoly, zachycování vstupů/výstupů a vytvoření izolovaného prostředí
Reprodukování a izolace chybových stavů
- Techniky pro tvorbu minimálních příkladů vedoucích k výskytu chyb a jejich vstupních dat
- Srovnání stavových a nestavových interakcí: izolace chyb souvisejících s kontextem komunikace
- Determinizmus, náhodnost a řízení nepředvídatelného chování systémů
Hodnocení chování modelů a využití metrik
- Kvantitativní ukazatele: přesnost, varianty ROUGE/BLEU, kalibrace a odhady známky nejasnosti výstupů
- Kvalitativní metody hodnocení: lidské posuzování výstupů a tvorba specifikací pro jejich posouzení
- Testy věrnosti modulu k požadovaným standardům a stanovení přijatelných limitů funkčnosti
Automatizované testování a kontrola regrese
- Tvorba jednotkových testů pro dotazy i jednotlivé komponenty systému, stejně jako scénářová či end-to-end testování
- Návrh sady testů sloužících k kontrole regrese a vytvoření vzorových dat pro validaci<\/li>
- Integrace do procesů CI/CD zajišťující automatické schvalování nových verzí modelů Ollama
Sledování chování a monitorování systémů
- Strukturované protokolování, distribuované sledování toků požadavků a využití identifikátorů korelace
- Hlavní provozní ukazatele: doba odezvy, spotřeba tokenů, četnost chyb a měření kvality modelů
- Generování upozornění, tvorba přehledových dashboardů a stanovení SLO/SLI pro služby využívající modely AI
Pokročilá analýza příčin chybovosti
- Analýza toku dat mezi více kroky, včetně volání nástrojů či komplexních interakcí uživatele a modelu
- Srovnávací diagnostika různých variant modelů pomocí A/B testování i analýzy jednotlivých prvků systému
- Určení původu dat, jejich kontrola a oprava případných problémů vyplývajících ze špatně sestavených datasetů
Opatření pro zvýšení bezpečnosti, odolnosti systému a strategie nápravy chybovostí
- Zabezpečovací opatření: filtrování obsahu, přesné vymezení okruhu činnosti modelů, rozšířené vyhledávání informací a promyšlená struktura dotazů
- Postupy pro plynulý přechod na novější verze: postupné spouštění nových modelů, využití kanárových testů či kontrolované škálování nasazení
- Analýza zpětných vazeb po výskytu chyb, učení se z dosavadních zkušeností a neustálé zdokonalování celého systému<
Shrnutí a další kroky
Požadavky
- Pokročilé zkušenosti s tvorbou a nasazováním aplikací využívajících velké jazykové modely
- Ovládání pracovních postupů Ollama a principů hostování modelů
- Znalosti Pythonu, nástroje Docker a základní seznámení s nástroji určenými k sledování chování systémů
Cílové skupiny
- Inženýři umělé inteligence
- Profesionálové z oblasti ML Ops
- Týmy kontroly kvality odpovědné za produkční systémy využívající velké jazykové modely
35 Hodiny