Zkuste nás kontaktovat

Návrh Školení

Úvod a základy diagnostiky

  • Přehled nejčastějších chybových scénářů u systémů s velkými jazykovými modely a konkrétních problémů v prostředí Ollama
  • Vytváření reprodukovatelných experimentů a řízené prostředí pro testování
  • Sada nástrojů pro ladění: lokální protokoly, zachycování vstupů/výstupů a vytvoření izolovaného prostředí

Reprodukování a izolace chybových stavů

  • Techniky pro tvorbu minimálních příkladů vedoucích k výskytu chyb a jejich vstupních dat
  • Srovnání stavových a nestavových interakcí: izolace chyb souvisejících s kontextem komunikace
  • Determinizmus, náhodnost a řízení nepředvídatelného chování systémů

Hodnocení chování modelů a využití metrik

  • Kvantitativní ukazatele: přesnost, varianty ROUGE/BLEU, kalibrace a odhady známky nejasnosti výstupů
  • Kvalitativní metody hodnocení: lidské posuzování výstupů a tvorba specifikací pro jejich posouzení
  • Testy věrnosti modulu k požadovaným standardům a stanovení přijatelných limitů funkčnosti

Automatizované testování a kontrola regrese

  • Tvorba jednotkových testů pro dotazy i jednotlivé komponenty systému, stejně jako scénářová či end-to-end testování
  • Návrh sady testů sloužících k kontrole regrese a vytvoření vzorových dat pro validaci<\/li>
  • Integrace do procesů CI/CD zajišťující automatické schvalování nových verzí modelů Ollama

Sledování chování a monitorování systémů

  • Strukturované protokolování, distribuované sledování toků požadavků a využití identifikátorů korelace
  • Hlavní provozní ukazatele: doba odezvy, spotřeba tokenů, četnost chyb a měření kvality modelů
  • Generování upozornění, tvorba přehledových dashboardů a stanovení SLO/SLI pro služby využívající modely AI

Pokročilá analýza příčin chybovosti

  • Analýza toku dat mezi více kroky, včetně volání nástrojů či komplexních interakcí uživatele a modelu
  • Srovnávací diagnostika různých variant modelů pomocí A/B testování i analýzy jednotlivých prvků systému
  • Určení původu dat, jejich kontrola a oprava případných problémů vyplývajících ze špatně sestavených datasetů

Opatření pro zvýšení bezpečnosti, odolnosti systému a strategie nápravy chybovostí

  • Zabezpečovací opatření: filtrování obsahu, přesné vymezení okruhu činnosti modelů, rozšířené vyhledávání informací a promyšlená struktura dotazů
  • Postupy pro plynulý přechod na novější verze: postupné spouštění nových modelů, využití kanárových testů či kontrolované škálování nasazení
  • Analýza zpětných vazeb po výskytu chyb, učení se z dosavadních zkušeností a neustálé zdokonalování celého systému<

Shrnutí a další kroky

Požadavky

  • Pokročilé zkušenosti s tvorbou a nasazováním aplikací využívajících velké jazykové modely
  • Ovládání pracovních postupů Ollama a principů hostování modelů
  • Znalosti Pythonu, nástroje Docker a základní seznámení s nástroji určenými k sledování chování systémů

Cílové skupiny

  • Inženýři umělé inteligence
  • Profesionálové z oblasti ML Ops
  • Týmy kontroly kvality odpovědné za produkční systémy využívající velké jazykové modely
 35 Hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie