Modely pro rozhodování při self-hostingu: Služby, kvantizace, latence a provoz Počítačový Kurz

Možnosti nasazení

• Výhody a nevýhody hostované API oproti self-hostingu
• Vzory pro nasazení na místě, na okrajové síti a v izolovaných prostředích
• Jeden model versus portfoliio modelů
• Srovnání nákladů na jedno rozhodnutí

Velikost hardwaru a kapacity

• Potřebná paměť podle počtu parametrů
• Pouze CPU versus akcelerace GPU
• Plánování konkurence a propustnosti
• Rezerva pro růst délky úloh

Stacky pro poskytování služeb

• Možnosti vLLM a SGLang
• Spouštění llama.cpp a GGUF
• Ollama pro lokální vývoj
• Výběr na základě charakteristik workloadu pro rozhodování

Kvantizace bez ztráty kalibrace

• Formáty přesnosti a úspory paměti
• Měření ztráty kvality a kalibrace
• Varianty per-tensor a s ohledem na důležitost
• Akceptační testy po kvantizaci

Inženýrství latence

• Mediánová latence versus pásová latence
• Růst latence s délkou kontextu
• Ohřev startu a cacheování modelů
• Batching více otázek pro rozhodování

Okrajové a omezené prostředí

• Malé modely pro rozhodování na CPU
• Nasazení na Apple Silicon a v vestavěných systémech
• Offline provoz a strategie aktualizací
• Distribuce vah v izolovaných prostředích

Kontejnerizace a škálování

• Návrh obrazců pro poskytování služeb modelů
• Správa objemů a mezipaměti
• Vodorovné škálování a směrování
• Omezení zdrojů a sdílení GPU

Observovatelnost

• Metriky požadavků, latence a chyb
• Monitorování distribuce spolehlivosti
• Sledování výsledků rozhodování a eskalací
• Alerty na drift kalibrace

Verzování a nasazení

• Verzování modelů a adaptérů
• Stínová a canary nasazení
• Pevně vázané soubory modelů pro audit
• Postupy odvolání (rollback)

Bezpečnost a multi-tenancy

• Autentizace a omezování rychlosti
• Izolace nájemců pro prompty a logy
• Izolace sítě a kontrola odchylujících se toků
• Auditní logování rozhodnutí