Zkuste nás kontaktovat

Návrh Školení

Úvod do LLMOps

  • LLMOps versus MLOps: specifika provozu velkých jazykových modelů
  • Cyklus života aplikací s využitím LLM: tvorba promptů, hodnocení, nasazení a monitorování
  • Kontrolní seznam připravenosti produktu na nasazení u generativních AI aplikací

Správa a verzování promptů

  • Systémy šablon pro vytváření promptů a jejich dynamická konfigurace
  • Semantické verzování promptů s automatickým testováním regrese
  • Registry promptů a pracovní postupy spolupráce mezi týmy

Hodnocení LLM ve velkém měřítku

  • Klíčová hlediska hodnocení: přesnost, relevance, bezpečnost a spolehlivost výstupů
  • Metriky určené LLM k hodnocení vlastních výsledků i standardizovaná lidská hodnocení
  • Automatizované frameworky: RAGAS, DeepEval a také vlastní evaluátory
  • Zavedení kvalitativních kontrol do CI/CD procesů při nasazování LLM

Bezpečnostní opatření a řízení obsahu

  • Ochranné mechanismy pro vstupní i výstupní data: nástroje jako NeMo Guardrails a Guardrails AI
  • Detekce osobních údajů, filtrování toxického obsahu a nastavení tématických hranic
  • Obranné strategie proti pokusům o obejití bezpečnostních mechanismů využívajícím prompt injection či jailbreak
  • Testování odolnosti aplikací pomocí red-teaming metodik pro ověření jejich bezpečnosti

Monitorování a sledování LLM

  • Sběr telemetrických dat: využití tokenů, latence, náklady i metriky kvality výstupů
  • Detekce změn v chování modelů nebo jejich vestavěných vektorových prostorů
  • Sledování konverzací mezi uživatelem a modelem pomocí sledovacích stop na úrovni jednotlivých relací
  • Vytváření dashboardů a upozornění s využitím nástrojů LangSmith, Arize a OpenTelemetry

Brány AI a orchestrace modelů

  • Routing požadavků mezi různými poskytovateli pomocí LiteLLM či Portkey
  • Strategie zálohování, opakovaných pokusů o spuštění a automatického přerušení selhávajících dotazů
  • Správa výběru modelů na základě nákladové efektivity i vyrovnávání zátěže mezi nimi
  • Řízení počtu žádostí za sekundu, kvót a správa přístupových klíčů k jednotlivým API

Optimalizace výkonu

  • Využívání semantického ukládání do vyrovnávacích pamětí s podporou vektorových databází i přesných shod
  • Zajištění strukturovanosti výstupů pomocí omezeného dekódování vstupů
  • Pracovní vzory pro skupinové zpracování, streamování dat a efektivní paralelizaci požadavků
  • Snižování latence u modulů v různých provozních prostředích a od různých poskytovatelů

Řízení, dodržování předpisů a audit

  • Sledovací systémy pro LLM: evidence promptů, odpovědí i rozhodnutí vzniklých na základě jejich analýzy
  • Požadavky na umístění dat a ochranu soukromí při používání LLM API služeb
  • Použití principů policy-as-code při nastavení pravidel využití velkých jazykových modelů v rámci organizace
  • Tvorba interních příruček určených k operacím s velkými jazykovými modely

Požadavky

  • Praktické zkušenosti s tvorbou nebo integrací aplikací využívajících velké jazykové modely.
  • Orientace v Pythonu a práce s REST API.
  • Základní znalosti o technikách inženýrství promptů.

Cílová skupina

  • Inženýři strojového učení a specialisté na MLOps, kteří přecházejí k operacím s velkými jazykovými modely.
  • Inženýři platformních řešení zodpovědní za infrastrukturu pro LLM.
  • Techničtí vedoucí, kteří spravují produkční nasazení generativní AI aplikací.
 14 Hodiny

Počet účastníků


Cena za účastníka

Reference (2)

Nadcházející kurzy

Související kategorie