Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Suverenita AI a lokální nasazení LLM
- Rizika cloudových LLM: uchovávání dat, trénování na vstupech, zahraničná jurisdikce.
- Architektura Ollamy: model server, registr a OpenAI kompatibilní API.
- Srovnání s nástroji vLLM, llama.cpp a Text Generation Inference.
- Licencování modelů: podmínky pro Llama, Mistral, Qwen a Gemma.
Instalace a nastavení hardwaru
- Instalace Ollamy na Linux s podporou CUDA a ROCm.
- Náhradní řešení pouze pro CPU a optimalizace AVX/AVX2.
- Deploymant přes Docker a mapování trvalých svazků (volumes).
- Nastavení více GPU a strategie alokování VRAM.
Správa modelů
- Stahování modelů z registru Ollamy: příkaz ollama pull llama3.
- Import GGUF modelů z HuggingFace a TheBloke.
- Kvantizační úrovně: kompromisy mezi Q4_K_M, Q5_K_M a Q8_0.
- Přepínání modelů a limity současně načítaných modelů.
Vlastní Modelfily
- Syntaxe zápisu Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ladění parametrů teploty (temperature), top_p a repeat_penalty.
- Inženýrství systémových promptů pro určení chování podle role.
- Vytváření a publikování vlastních modelů do lokálního registru.
Integrace API
- Endpoint /v1/chat/completions kompatibilní s OpenAI.
- Streamované odpovědi a režim JSON.
- Integrace s LangChain, LlamaIndex a vlastními aplikacemi.
- Ověřování identity (authentication) a omezení rychlosti volání (rate limiting) prostřednictvím reverzního proxy serveru.
Optimalizace výkonu
- Nastavení velikosti kontextového okna a správa KV cache.
- Dávková inference a zpracování paralelních požadavků.
- Alokace vláken CPU a awareness NUMA (Non-Uniform Memory Access).
- Sledování využití GPU a tlaku na paměť.
Bezpečnost a soulad s předpisy
- Síťová izolace pro endpointy obsluhy modelů.
- Filtr vstupů a pipeline moderování výstupů.
- Auditní logování dotazů a generovaných odpovědí.
- Původ modelu a ověřování hash hodnot.
Požadavky
- Pokročilé znalosti správy Linuxu a kontejnerů.
- Teoretické pochopení strojového učení a transformačních modelů (transformers).
- Znalost REST API a formátu JSON.
Cílová skupina
- Inženýři AI a vývojáři nahrazující cloudová rozhraní API LLM.
- Organizace se specifickými požadavky na ochranu dat, které znemožňují používání cloudových modelů.
- Vládní týmy a týmy obrany vyžadující jazykové modely v izolované síti (air-gapped).
14 Hodiny