Zkuste nás kontaktovat

Návrh Školení

Úvod do modelů pro zpracování obrazu a textu

  • Přehled modelů VLM a jejich role v multimodální AI
  • Běžné architektury: CLIP, Flamingo, BLIP atd.
  • Typické aplikace: vyhledávání, generování popisků, autonomní systémy, analýza obsahu

Příprava prostředí pro doladění modelů

  • Nastavení knihoven OpenCLIP a dalších nástrojů VLM
  • Formáty datových sad obsahujících páry obrázků a textu
  • Předzpracování vstupních dat vizuálního i jazykového typu

Doladění modelů CLIP a podobných konstrukcí

  • Kontrastivní ztráta a tvorba společného prostoru reprezentací
  • Praktické cvičení: doladění modelu CLIP na vlastní datové sadě
  • Práce s oborově specifickými i vícejazyčnými daty<\/ul>

    Pokročilé techniky doladění modelů

    • Využití metod typu LoRA a adaptérů ke zvýšení efektivity
    • Řízení pomocí promptů a vkládání vizuálních promptů
    • Srovnávání výsledků při použití hodnocení zero-shot versus po doladění

    Hodnocení a testování modelů

    • Ukazatele kvality pro modely VLM: přesnost vyhledávání, BLEU, CIDEr, míra nalezení
    • Diagnostika souladu mezi vizuálním a textovým obsahem
    • Vizualizace prostorů reprezentací a případů špatné klasifikace<\/ul>

      Nasazení modelů do reálných systémů

      • Export modelů pro inferenci (formáty TorchScript, ONNX)
      • Integrace modelů VLM do pracovních postupů nebo rozhraní API
      • Zvážení potřebných zdrojů a možnost škálování modelů

      Příklady využití a praktické scénáře

      • Analýza médií a moderování obsahu
      • Vyhledávání a indexace produktů v elektronickém obchodě či digitálních knihovnách
      • Interakce s multimodálními systémy v robotice a autonomních zařízeních

      Shrnutí a další kroky

Požadavky

  • Přehled o hlubokém učení v oblasti počítačového vidění a zpracování přirozeného jazyka
  • Zkušenosti s používáním frameworku PyTorch a modelů založených na transformátorech
  • Orientace v architekturách multimodálních modelů

Cílová skupina

  • Inženýři počítačového vidění
  • Vývojáři umělé inteligence
 14 Hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie