Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Suverenita v oblasti AI a lokální nasazení LLM
- Rizika cloudových LLM: ukládání dat, trénink na vstupech, cizí jurisdikce.
- Architektura Ollamy: server modelů, registr a API kompatibilní s OpenAI.
- Srovnání s vLLM, llama.cpp a Text Generation Inference.
- Licence modelů: podmínky pro Llama, Mistral, Qwen a Gemma.
Instalace a nastavení hardwaru
- Instalace Ollamy na Linuxu s podporou CUDA a ROCm.
- Záložní řešení pouze pro CPU a optimalizace AVX/AVX2.
- Nasazení prostřednictvím Dockeru a mapování persistentních svazků.
- Nastavení více GPU a strategie alokace VRAM.
Správa modelů
- Stahování modelů z registru Ollamy: ollama pull llama3.
- Import modelů GGUF z HuggingFace a TheBloke.
- Úrovně kvantizace: kompromisy mezi Q4_K_M, Q5_K_M a Q8_0.
- Přepínání modelů a limity souběžného načítání modelů.
Vlastní Modelfily
- Psaní syntaxe Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ladicí nastavení teploty (temperature), top_p a repeat_penalty.
- Inženýrství systémového podnětu pro chování specifické pro roli.
- Vytváření a publikování vlastních modelů do místního registru.
Integrace API
- Koncový bod /v1/chat/completions kompatibilní s OpenAI.
- Odezvy ve streamu a režim JSON.
- Integrace s LangChain, LlamaIndex a vlastními aplikacemi.
- Ověřování identity a omezení rychlosti pomocí reverzního proxy serveru.
Optimalizace výkonu
- Nastavení velikosti kontextového okna a správa KV cache.
- Dávková inference a zpracování paralelních požadavků.
- Alokace vláken CPU a vědomost architektury NUMA.
- Sledování využití GPU a tlaku na paměť.
Bezpečnost a soulad s předpisy
- Síťová izolace koncových bodů pro poskytování modelů.
- Filtrování vstupů a pipeline pro moderování výstupů.
- Auditní logování podnětů a dokončených odpovědí.
- Původ modelů a ověřování hashe.
Požadavky
- Středně pokročilé znalosti správy systému Linux a kontejnerizace.
- Přehledové pochopení strojového učení a modelů typu transformer.
- Seznámení s REST API a formátem JSON.
Cílová skupina
- Inženýři AI a vývojáři nahrazující cloudová API LLM.
- Organizace se senzitivními daty, které neumožňují používání cloudových modelů.
- Týmů ve vládě a obraně vyžadující oddělené (air-gapped) jazykové modely.
14 Hodiny
