Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Nasazení produktu EXO v režimu offline
- Použití proměnné prostředí EXO_OFFLINE k zabránění přístupu k internetu během běhu.
- Načtení modelů do adresářů EXO_MODELS_READ_ONLY_DIRS z důvěryhodných interních zrcadel.
- Ověření integrity vah modelu pomocí součtů SHA-256 a podepsaných karet modelů.
- Provozování produktu EXO v izolovaných sítích (air-gapped networks) bez závislosti na službě HuggingFace.
Kontrola přístupu k dashboardu a rozhraní API
\r- Nainstalovat a nakonfigurovat reverzní proxy servery (nginx, Caddy) s ukončením protokolu TLS.
- Implementace řízení přístupu založeného na rolích pro dashboard produktu EXO a REST API.
- Použití úložiště hesel macOS Keychain nebo Linux pass k ukládání tajných klíčů pro autentizaci API.
- Omezení administrativních bodů na konkrétní rozsahy zdrojových IP adres.
Izolace clusteru a bezpečnost sítě
- Segmentace clusterů produktu EXO pomocí proměnné prostředí EXO_LIBP2P_NAMESPACE a VLANs.
- Konfigurace brány firewall hostitele (macOS apliková brána firewall, iptables, nftables) pro porty EXO.
- Předcházení neoprávněnému zjišťování zařízení a vstřikování podvodných uzlů.
- Šifrování síťové komunikace libp2p mezi uzly, kdy RDMA není k dispozici.
Řízení modelů a jejich původ
- Vytvoření interního registru modelů s seznamy schválených modelů a metadaty.
- Tagování a verzování kvantizovaných vah (4-bit, 8-bit) spolu se zdrojovými checkpointy.
- Provozovat pouze konkrétní repozitáře HuggingFace nebo interní artefakty pro načítání modelů.
- Dokumentace původu modelu, licenčních podmínek a politik přijatelného použití.
Auditní logy a dodržování předpisů
- Konfigurace směrování logů systému EXO do nezměnitelných auditních stop (SIEM, WORM storage).
- Korelace logů volání API s identitou uživatele a časovou známkou.
- Zachycení událostí při vytváření a odstraňování instancí modelů a žádostí o inference.
- Generování periodických reportů o dodržování předpisů pro interní i externí auditory.
Modelování hrozeb a reakce na incidenty
- Identifikace hrozeb: exfiltrace dat prostřednictvím výstupů modelu, vstřikování promptů, úniky po stranových kanálech.
- Implementace monitoringu promptů a pipeline filtrace obsahu.
- Vytvoření příruček pro reakci na incidenty v případě narušení clusteru.
- Izolace postižených uzlů, zachování forenzních logů a obnovení čistého prostředí.
Fyzická bezpečnost a hardwarové hranice
- Zabezpečení portů Thunderbolt proti neoprávněným připojením kabelu RDMA.
- Použití bezpečných enkláv a ověřování hardwaru Apple Silicon tam, kde je to vhodné.
- Kontrola fyzického přístupu ke clusterům Maců a sdílenému úložišti.
- Dokumentace životního cyklu hardware a postupů jeho vyřazení z provozu.
Regulační aspekty
- Přiřazení nasazení produktu EXO k požadavkům GDPR, HIPAA a SOC 2.
- Udržování datové rezidence tím, že inference je prováděna na místě.
- Dokumentace rizik dodavatelského řetězce výrobců (MLX, EXO, vah modelů).
- Příprava pro rámce řízení AI, jako je článek 53 Nařízení EU o AI.
Požadavky
- Zkušenosti s produktem EXO nebo jiným místním prostředím běhu LLM
- Porozumění práva přístupů k Unixovému souborovému systému a síťovým seznamům řízení přístupu (ACL)
- Seznámení se správou certifikátů TLS/SSL a základy šifrování
Cílová skupina
- Bezpečnostní inženýři
- Odpovědní za dodržování předpisů
- Správci infrastruktury AI, kteří pracují se citlivými daty
14 Hodiny
Reference (1)
Instruktor měl vynikající znalosti FortiGate a prezentoval obsah velmi dobře. Děkujeme mnohokrát Soroushovi.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Kurz - FortiGate 7.4 Administration
Přeloženo strojem
