Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Nasazení offline EXO
- Použití proměnné EXO_OFFLINE k zabránění přístupu k internetu během běhu
- Přednačtení modelů do EXO_MODELS_READ_ONLY_DIRS z důvěryhodných interních zrcadel
- Ověření integrity vah modelů pomocí kontrolních součet SHA-256 a podepsaných popisků modelů
- Provozování EXO v sítích bez propojení s vnějším světem (air-gapped) bez závislostí na HuggingFace
Kontrola přístupu do ovládacího panelu a API
- Instalace a konfigurace reverzních proxy (nginx, Caddy) s koncovým bodem TLS
- Implementace řízení přístupu na základě rolí pro ovládací panel EXO a REST API
- Použití kláčenky macOS nebo linuxového nástroje pass k ukládání tajných údajů pro ověřování API
- Omezení administrativních koncových bodů na specifické rozsahy zdrojových IP adres
Izolace clusterů a síťová bezpečnost
- Segmentace clusterů EXO pomocí EXO_LIBP2P_NAMESPACE a VLAN
- Konfigurace firewallů hostitele (application firewall macOS, iptables, nftables) pro porty EXO
- Zabránění neoprávněnému objevování zařízení a vstřikování rogue node
- Šifrování provozu libp2p mezi uzly, když není k dispozici RDMA
Správa a původ modelů
- Vytvoření interního registru modelů se schválenými seznamy modelů a metadaty
- Vytváření štítků a verzování kvantifikovaných vah (4-bit, 8-bit) spolu se zdrojovými kontrolními body
- Vynucování, že lze načítat pouze specifické repozitáře HuggingFace nebo interní artefakty
- Dokumentace linie modelů, podmínek licence a politik přijatelného použití
Auditní logování a soulad s předpisy
- Konfigurace předávání logů EXO do neměnných auditních stop (SIEM, úložiště WORM)
- Korelace logů volání API s identitou uživatele a časovým razítkem
- Zachycení událostí vytvoření, odstranění instance modelu a žádostí o inferenci
- Generování periodických zpráv o souladu pro interní a externí auditory
Modelování hrozeb a reakce na incidenty
- Identifikace hrozeb: únik dat prostřednictvím výstupů modelů, vstřikování promptů, úniky postranních kanálů
- Implementace monitorování promptů a pipelineů filtrování obsahu
- Vytváření příruček pro reakci na incidenty pro scénáře kompromitace clusteru
- Izolace postižených uzlů, zachování forenzních logů a znovuobnovení čistého prostředí
Fyzická bezpečnost a hardwarové ohraničení
- Zabezpečení portů Thunderbolt proti neoprávněným připojením kabelů RDMA
- Použití zabezpečených enkláv a hardwarového atestování Apple Silicon, kde je to vhodné
- Kontrola fyzického přístupu ke klastrom Mac a sdílenému úložišti
- Dokumentace životního cyklu hardwaru a postupů vyřazování
Regulační požadavky
- Přiřazení nasazení EXO požadavkům GDPR, HIPAA a SOC 2
- Udržování rezidence dat tím, že se inferenční proces provádí místně
- Dokumentace rizik dodavatelského řetězce dodavatelů (MLX, EXO, vah modelů)
- Příprava na rámcové předpisy pro správu AI, jako je článek 53 Nařízení EU o AI
Požadavky
- Zkušenosti s EXO nebo jiným místním běhovým prostředím pro LLM
- Rozumění oprávnění souborového systému Unixu a přístupovým seznamům (ACLs) sítě
- Seznámení se správou certifikátů TLS/SSL a základy šifrování
Cílová skupina
- Bezpečnostní inženýři
- Zodpovědní osoby za soulad s předpisy
- Správci infrastruktury AI zpracovávající citlivá data
14 Hodiny
Reference (1)
Instruktor měl vynikající znalosti FortiGate a prezentoval obsah velmi dobře. Děkujeme mnohokrát Soroushovi.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Kurz - FortiGate 7.4 Administration
Přeloženo strojem
