Návrh Školení

Úvod do multimodálních LLM v Vertex AI

  • Přehled multimodálních schopností v Vertex AI
  • Modely Gemini a podporované modalities
  • Použití v podnikání a výzkumu

Nastavení vývojového prostředí

  • Konfigurace Vertex AI pro multimodální pracovní postupy
  • Práce s datovými sadami napříč modalitami
  • Praktické cvičení: nastavení prostředí a příprava datových sad

Dlouhé kontextové okna a pokročilá odůvodňování

  • Pochopení dlouhokontextových pracovních postupů
  • Použití v plánování a rozhodování
  • Praktické cvičení: implementace analýzy dlouhokontextových dat

Návrh křížově modálních pracovních postupů

  • Kombinace textové, audiové a obrazové analýzy
  • Řetězení multimodálních kroků v pipelinech
  • Praktické cvičení: návrh multimodálního pipelineu

Práce s parametry API Gemini

  • Konfigurace multimodálních vstupů a výstupů
  • Optimalizace inferencí a efektivity
  • Praktické cvičení: ladění parametrů API Gemini

Pokročilé aplikace a integrace

  • Interaktivní multimodální agenti a asistenti
  • Integrace externích API a nástrojů
  • Praktické cvičení: vytvoření multimodální aplikace

Vyhodnocování a iterace

  • Testování multimodálního výkonu
  • Metriky pro přesnost, shodu a posuv
  • Praktické cvičení: vyhodnocování multimodálních pracovních postupů

Shrnutí a další kroky

Požadavky

  • Znalost programování v Pythonu
  • Zkušenosti s vývojem modelů strojového učení
  • Opačnost se multimodálními daty (text, audio, obrázek)

Cílová skupina

  • Výzkumníci v AI
  • Pokročilí vývojáři
  • Odborníci na ML (Machine Learning)
 14 hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie