Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Doba trvání 14 hodiny
Návrh Školení
Suverenity AI a lokální nasazení LLM
- Rizika cloudových LLM: uchovávání dat, trénování na vstupu, zahraniční jurisdikce.
- Architektura Ollama: server modelů, registrář a API kompatibilní s OpenAI.
- Srovnání s vLLM, llama.cpp a Text Generation Inference.
- Licencování modelů: podmínky pro Llama, Mistral, Qwen a Gemma.
Instalace a hardwarové nastavení
- Instalace Ollama v Linuxu s podporou CUDA a ROCm.
- Záložní režim pouze s CPU a optimalizace AVX/AVX2.
- Nasazení Dockeru a mapování perzistentních objemů.
- Nastavení multi-GPU a strategie alokace VRAM.
Správa modelů
- Přetahování modelů z registráře Ollama: ollama pull llama3.
- Import modelu GGUF z HuggingFace a TheBloke.
- Úrovně kvantování: kompromisy mezi Q4_K_M, Q5_K_M a Q8_0.
- Střídání modelů a limity souběžného načítání modelů.
Vlastní Modelfiles
- Syntaxe souboru Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ladění teploty, top_p a repeat_penalty.
- Inženýrství systémových promptů pro chování specifické pro roli.
- Vytváření a publikování vlastních modelů do lokálního registráře.
Integrace API
- Uzel /v1/chat/completions kompatibilní s OpenAI.
- Streamování odpovědí a režim JSON.
- Propojování s LangChain, LlamaIndex a vlastními aplikacemi.
- Autentizace a omezení rychlosti pomocí reverzního proxy serveru.
Optimalizace výkonu
- Velikost kontextového okna a správa KV cache.
- Dávková inference a zpracování paralelních požadavků.
- Alokace vláken CPU a povědomí o NUMA.
- Monitorování využití GPU a tlaku na paměť.
Bezpečnost a soulad s předpisy
- Izolace sítě pro uzel servírování modelů.
- Filtrování vstupů a moderace výstupů.
- Auditovalogování promptů a doplňků.
- Původ modelů a ověření hashů.
Požadavky
- Střední úroveň znalostí administrace Linuxu a kontejnerů.
- Pochopení strojového učení a transformerových modelů na vysoké úrovni.
- Znalost REST API a formátu JSON.
Cílová skupina
- AI inženýři a vývojáři nahrazující cloudová API pro LLM.
- Organizace s citlivými daty, které zabraňují používání cloudových modelů.
- Týmy z oblasti vlády a obrany vyžadující jazykové modely s odpojením od sítě (air-gapped).
