Zkuste nás kontaktovat

Návrh Školení

Základy ladění a hodnocení pomocí Mastra

  • Porozumění modelům chování agentů a možným způsobům jejich selhání
  • Základní principy ladění v rámci frameworku Mastra
  • Hodnocení deterministických i nedeterministických reakcí agentů

Příprava prostředí pro testování agentů

  • Konfigurace testovacích sandboxů a izolovaných prostředí určených k hodnocení
  • Zaznamenávání logů, sledování činnosti a sběr telemetrických dat pro podrobnou analýzu
  • Příprava datových sad a promtů pro strukturované testování

Ladění chování AI agentů

  • Sledování rozhodovacích procesů a vnitřních mechanismů uvažování agentů
  • Identifikace halucinací, chyb a nežádoucího chování
  • Využití dashboardů určených k monitorování ke zjištění příčin problémů

Metriky hodnocení a rámce pro stanovení referencí

  • Definování kvantitativních i kvalitativních ukazatelů pro hodnocení
  • Měření přesnosti, konzistence a souladu s kontextem užívání
  • Využití referenčních datových sad pro opakované testování

Inženýrství spolehlivosti u AI agentů

  • Návrh testů určených k ověření dlouhodobé stability agentů
  • Detekce odchylek a zhoršování výkonnosti v průběhu času
  • Zavádění ochranných mechanismů pro kritické pracovní postupy

Procesy a automatizace zajištění kvality

  • Vytváření procesů na kontinuální hodnocení agentů
  • Automatizace regresních testů po každé aktualizaci agentů
  • Integrace systémů zajištění kvality do postupů CI/CD a firemních procesů

Pokročilé metody snižování výskytu halucinací u agentů

  • Strategie tvorby promtů s cílem minimalizovat nežádoucí výstupy
  • Mechanismy validace a samokontroly v rámci agentů
  • Experimentování s kombinacemi různých modelů za účelem zvýšení spolehlivosti

Vytváření reportů, monitorování a nepřetržité zdokonalování

  • Sestavování zpráv o kvalitě a hodnotících tabulek pro jednotlivé agenty
  • Průběžné sledování dlouhodobého chování agentů a jejich chybovosti
  • Postupná úprava hodnotících rámců podle vývoje systému

Shrnutí a další kroky

Požadavky

  • Základní porozumění chování AI agentů a interakcím mezi modely
  • Praktické zkušenosti s laděním nebo testováním složitých softwarových systémů
  • Seznámenost s nástroji na sledování a logování

Cílová skupina

  • Inženýři zajišťující kvalitu
  • Inženýři zaměření na spolehlivost AI systémů
  • Vývojáři odpovědní za kvalitu a výkonnost agentů
 21 Hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie