Návrh Školení

Základy ladění a hodnocení Mastra

  • Porozumění modelům chování agentů a režimům selhání
  • Základní principy ladění v Mastra
  • Hodnocení deterministických a nedeterministických akcí agentů

Nastavení prostředí pro testování agentů

  • Konfigurace testovacích pískovišť a izolovaných hodnotících prostorů
  • Zachycení protokolů, tras a telemetrie pro podrobnou analýzu
  • Příprava datových sad a vyzvání pro strukturované testování

Ladění chování AI agentů

  • Trasování rozhodovacích cest a vnitřních signálů důvodů
  • Identifikace halucinací, chyb a neočekávaného chování
  • Použití tabulových nástrojů pro sledování k identifikaci zdroje problémů

Metriky hodnocení a referenční rámce

  • Definování kvantitativních a kvalitativních metrik hodnocení
  • Měření přesnosti, konzistence a kontextové souladu
  • Použití referenčních datových sad pro opakovatelnou hodnocení

Inženýrství spolehlivosti AI agentů

  • Návrh testů spolehlivosti pro agenty s dlouhou činností
  • Detekce odchylek a poklesu výkonu agentů
  • Implementace bezpečnostních opatření pro kritické pracovní postupy

Procesy a automatizace zajišťování kvality (QA)

  • Vytváření pipelinů QA pro kontinuální hodnocení
  • Automatizace regresních testů pro aktualizace agentů
  • Integrace QA s CI/CD a podnikovými pracovními postupy

Pokročilé techniky pro snížení halucinací

  • Strategie vyzvání k snížení nežádoucích výstupů
  • Validace smyček a mechanismy samokontroly
  • Experimentování s kombinacemi modelů pro zlepšení spolehlivosti

Zpravodajství, monitorování a kontinuální vylepšování

  • Vytváření zpráv QA a skórek agentů
  • Monitorování dlouhodobého chování a vzorů chyb
  • Iterace hodnocových rámce pro evoluční systémy

Shrnutí a další kroky

Požadavky

  • Porozumění chování AI agentů a interakcí mezi modely
  • Zkušenosti s laděním nebo testováním komplexních softwarových systémů
  • Odborné znalosti nástrojů pro sledování nebo záznamy o chodu aplikace (logging)

Cílová skupina

  • QA inženýři
  • Inženýři spolehlivosti AI
  • Vývojáři odpovědní za kvalitu a výkon agentů
 21 hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie