Zkuste nás kontaktovat

Návrh Školení

Suverenita AI a lokální nasazení LLM

  • Rizika cloudových LLM: uchovávání dat, trénování na vstupech, zahraničná jurisdikce.
  • Architektura Ollamy: model server, registr a OpenAI kompatibilní API.
  • Srovnání s nástroji vLLM, llama.cpp a Text Generation Inference.
  • Licencování modelů: podmínky pro Llama, Mistral, Qwen a Gemma.

Instalace a nastavení hardwaru

  • Instalace Ollamy na Linux s podporou CUDA a ROCm.
  • Náhradní řešení pouze pro CPU a optimalizace AVX/AVX2.
  • Deploymant přes Docker a mapování trvalých svazků (volumes).
  • Nastavení více GPU a strategie alokování VRAM.

Správa modelů

  • Stahování modelů z registru Ollamy: příkaz ollama pull llama3.
  • Import GGUF modelů z HuggingFace a TheBloke.
  • Kvantizační úrovně: kompromisy mezi Q4_K_M, Q5_K_M a Q8_0.
  • Přepínání modelů a limity současně načítaných modelů.

Vlastní Modelfily

  • Syntaxe zápisu Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Ladění parametrů teploty (temperature), top_p a repeat_penalty.
  • Inženýrství systémových promptů pro určení chování podle role.
  • Vytváření a publikování vlastních modelů do lokálního registru.

Integrace API

  • Endpoint /v1/chat/completions kompatibilní s OpenAI.
  • Streamované odpovědi a režim JSON.
  • Integrace s LangChain, LlamaIndex a vlastními aplikacemi.
  • Ověřování identity (authentication) a omezení rychlosti volání (rate limiting) prostřednictvím reverzního proxy serveru.

Optimalizace výkonu

  • Nastavení velikosti kontextového okna a správa KV cache.
  • Dávková inference a zpracování paralelních požadavků.
  • Alokace vláken CPU a awareness NUMA (Non-Uniform Memory Access).
  • Sledování využití GPU a tlaku na paměť.

Bezpečnost a soulad s předpisy

  • Síťová izolace pro endpointy obsluhy modelů.
  • Filtr vstupů a pipeline moderování výstupů.
  • Auditní logování dotazů a generovaných odpovědí.
  • Původ modelu a ověřování hash hodnot.

Požadavky

  • Pokročilé znalosti správy Linuxu a kontejnerů.
  • Teoretické pochopení strojového učení a transformačních modelů (transformers).
  • Znalost REST API a formátu JSON.

Cílová skupina

  • Inženýři AI a vývojáři nahrazující cloudová rozhraní API LLM.
  • Organizace se specifickými požadavky na ochranu dat, které znemožňují používání cloudových modelů.
  • Vládní týmy a týmy obrany vyžadující jazykové modely v izolované síti (air-gapped).
 14 Hodiny

Počet účastníků


Cena za účastníka

Nadcházející kurzy

Související kategorie