Multimodální umělé inteligence: Integrace textu, obrazu a řeči Počítačový Kurz

Úvod do multimodální umělé inteligence

• Co je to multimodální umělá inteligence?
• Hlavní výzvy a oblasti využití
• Přehled nejvýznamnějších multimodálních modelů

Zpracování textu a porozumění přirozenému jazyku

• Využití velkých jazykových modelů pro tvorbu textových agentů umělé inteligence
• Principy vytváření efektivních promtů pro multimodální úlohy
• Příprava textových modelů na specializované aplikace pomocí finetuningu

Rozpoznávání a generování obrazu

• Zpracování obrazů pomocí umělé inteligence: klasifikace, popisky a detekce objektů
• Generování obrazů s využitím modelů typu diffusion (např. Stable Diffusion, DALLE)
• Integrace obrazových dat do systémů založených na textových modelech

Zpracování řeči a audio signálů

• Rozpoznávání řeči pomocí systému Whisper ASR
• Metody syntézy textu do řeči (TTS)
• Zlepšení interakce s uživateli díky hlasovým systémům umělé inteligence

Kombinace multimodálních vstupních dat

• Vytváření systémů pro zpracování více typů dat současně
• Techniky kombinování textu, obrazu a řeči do jednotného výstupu
• Praktické využití multimodálních agentů umělé inteligence ve skutečných podmínkách

Nasazování multimodálních agentů umělé inteligence

• Výstavba rozhraní API pro multimodální aplikace umělé inteligence
• Optimalizace modelů z hlediska výkonu a škálovatelnosti
• Postupy pro úspěšné nasazení multimodálních systémů do provozního prostředí

Etické aspekty a budoucí trendy

• Problematika předsudků a spravedlnosti v multimodálních systémech AI
• Ochrana soukromí při práci s multimodálními daty
• Budoucí směřování vývoje v oblasti multimodální umělé inteligence

Závěrečné shrnutí a další kroky