Děkujeme za vaši dotaz! Jeden z našich pracovníků vás brzy kontaktuje.
Děkujeme za rezervaci! Jeden z našich pracovníků vás brzy kontaktuje.
Návrh Školení
Nasazení EXO v režimu offline
- Použití proměnné EXO_OFFLINE k zabránění připojení EXO k internetu během provozu.
- Předběžné nahrávání modelů do adresáře EXO_MODELS_READ_ONLY_DIRS z důvěryhodných interních zdrojů.
- Ověřování integrity parametrů modelu pomocí kontrolních součtů SHA-256 a podepsaných informačních karet modelu.
- Spouštění EXO v izolovaných sítích bez závislostí na službách typu HuggingFace.
Ovládání přístupu k ovládacímu panelu a rozhraní API
- Instalace a konfigurace reverzních proxy serverů (nginx, Caddy) s ukončením šifrování TLS.
- Nastavení řízení přístupu na základě rolí pro ovládací panel EXO a rozhraní REST API.
- Používání macOS Keychain nebo nástroje pass v Linuxu k ukládání citlivých dat určených k autentizaci.
- Omezování přístupu k administrativním koncovým bodům na specifické rozsahy IP adres.
Izolace clusterů a síťová bezpečnost
- Rozdělení clusterů EXO pomocí parametru EXO_LIBP2P_NAMESPACE a technologie VLAN.
- Konfigurace firewalů na hostitelských strojích (macOS Application Firewall, iptables, nftables) pro ochranu portů EXO.
- Prevence neoprávněného objevování zařízení a vkládání cizích uzlů do sítě.
- Šifrování komunikace mezi jednotlivými uzly při použití protokolu libp2p, pokud není k dispozici RDMA.
Správa modelů a jejich původu
- Vytvoření interního registru modelů obsahující seznamy schválených modelů s jejich metadaty.
- Označování a verzionování komprimovaných variant parametrů modelu (4bitová, 8bitová kvalita) spolu s původními daty pro trénink.
- Stanovení povinnosti načítat modely pouze z konkrétních repozitářů HuggingFace nebo z interních zdrojů.
- Dokumentování historie modelu, podmínek jeho licence a pravidel pro jejich využívání.
Auditní logování a dodržování předpisů
- Konfigurace automatického odesílání logů EXO do systémů pro auditní záznamy, jako jsou SIEM nebo WORM úložiště.
- Spojování záznamů o voláních rozhraní API s identitou uživatele a časem provádění.
- Zaznamenávání všech akcí spojených s vytvářením, mazáním a používáním modelů pro inferenci.
- Generování pravidelných zpráv o dodržování předpisů určených interním i externím kontrolorům.
Modelování hrozeb a reakce na incidenty
- Identifikace rizik: neoprávněný výstup dat skrze výstupy modelu, injektáž instrukcí do vstupů či únik informací prostřednictvím vedlejších kanálů.
- Nastavení monitorování vstupních dotazů a filtrace obsahu pomocí speciálních skriptů.
- Vypracování postupů reakce na incidenty při ohrožení bezpečnosti clusteru.
- Izolace napadených uzlů, zachování důkazů určených k forenzní analýze a obnova čistého prostředí.
Fyzické zabezpečení a hranice hardwaru
- Ochrana portů Thunderbolt před neoprávněným připojením vysílačů RDMA.
- Využití bezpečnostních enkláv a mechanismů ověřování hardwaru u zařízení Apple Silicon.
- Omezování fyzického přístupu k počítačům Mac s nasazeným EXO i sdíleným úložišti.
- Zaznamenávání celého životního cyklu hardwaru a postupů jeho vyřazování z provozu.
Regulační požadavky
- Přizpůsobení nasazení EXO na požadavky předpisů GDPR, HIPAA a SOC 2.
- Udržování dat v rámci organizace tím, že inferenze probíhá výhradně v prostředí na místě.
- Dokumentování rizik spojených s dodavatelským řetězcem (MLX, EXO a jejich modely).
- Příprava organizace na plnění požadavků regulačních rámců pro AI – např. článek 53 Evropského zákona o umělé inteligenci.
Požadavky
- Zkušenosti s EXO nebo jiným lokálním runtime pro LLM
- Pochopení pravidel přístupu k souborovému systému v Unixu a síťových ACL>
- Orientace v správě certifikátů TLS/SSL a základech šifrování
Cílová skupina
- Bezpečnostní inženýři
- Pracovníci odpovědní za dodržování předpisů
- Správci infrastruktury AI, kteří pracují s citlivými daty
14 Hodiny
Reference (1)
Instruktor měl vynikající znalosti FortiGate a prezentoval obsah velmi dobře. Děkujeme mnohokrát Soroushovi.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Kurz - FortiGate 7.4 Administration
Přeloženo strojem