Úvod do velkých jazykových modelů (LLM) Počítačový Kurz

Úvod

• Co jsou velké jazykové modely (LLM)?
• Rozdíly mezi LLM a tradičními modely pro zpracování přirozeného jazyka
• Přehled vlastností a architektury velkých jazykových modelů
• Výzvy a omezení spojená s LLM

Porozumění fungování LLM

• Celý životní cyklus velkého jazykového modelu
• Jak velké jazykové modely fungují v praxi
• Hlavní komponenty LLM: kodér, dekodér, mechanismus pozornosti, embeddingy atd.

Začínáme

• Nastavení vývojového prostředí
• Instalace LLM jako nástroje pro vývoj – např. v rámci Google Colab či Hugging Face.

Pracovní s velkými jazykovými modely

• Prozkoumání dostupných variant LLM
• Vytvoření a využití vlastního modelu
• Další ladění LLM na základě specifických datových sad.

Sumarizace textů

• Charakteristika úlohy sumarizace a její využití v praxi
• Použití LLM k extraktivní i abstraktivní sumarizaci textu
• Hodnocení kvality výsledných souhrnů pomocí metrik typu ROUGE či BLEU.

Odpovídání na otázky

• Charakteristika úlohy odpovídání na otázky a její využití v praxi
• Použití LLM k řešení otázek v otevřených i uzavřených kontextech.
• Kontrola přesnosti odpovědí na základě metrik jako F1 či EM.

Generování textů

• Charakteristika úlohy generování textu a její využití v praxi
• Použití LLM k generování textů s určitými podmínkami i bez nich.
• Řízení stylu, tónu a obsahu vygenerovaných textů pomocí parametrů jako teplota či top-k/top-p.

Integrace LLM s jinými frameworky a platformami

• Použití velkých jazykových modelů spolu s PyTorch nebo TensorFlow.
• Aplikace LLM v rámci Flasku či Streamlitu.
• Využití LLM v cloudových platformách jako Google Cloud a AWS.

Ladění a řešení problémů

• Rozpoznání běžných chyb a problémů při práci s LLM.
• Použití TensorBoard k monitorování a vizualizaci procesu trénování modelu.
• Využití nástroje PyTorch Lightning ke zjednodušení kódu i zvýšení rychlosti učení.
• Používání datových sad z Hugging Face pro načítání a předzpracování dat.

Závěr a další kroky