Zkuste nás kontaktovat

Návrh Školení

Nasazení EXO v režimu offline

  • Použití proměnné EXO_OFFLINE k zabránění připojení EXO k internetu během provozu.
  • Předběžné nahrávání modelů do adresáře EXO_MODELS_READ_ONLY_DIRS z důvěryhodných interních zdrojů.
  • Ověřování integrity parametrů modelu pomocí kontrolních součtů SHA-256 a podepsaných informačních karet modelu.
  • Spouštění EXO v izolovaných sítích bez závislostí na službách typu HuggingFace.

Ovládání přístupu k ovládacímu panelu a rozhraní API

  • Instalace a konfigurace reverzních proxy serverů (nginx, Caddy) s ukončením šifrování TLS.
  • Nastavení řízení přístupu na základě rolí pro ovládací panel EXO a rozhraní REST API.
  • Používání macOS Keychain nebo nástroje pass v Linuxu k ukládání citlivých dat určených k autentizaci.
  • Omezování přístupu k administrativním koncovým bodům na specifické rozsahy IP adres.

Izolace clusterů a síťová bezpečnost

  • Rozdělení clusterů EXO pomocí parametru EXO_LIBP2P_NAMESPACE a technologie VLAN.
  • Konfigurace firewalů na hostitelských strojích (macOS Application Firewall, iptables, nftables) pro ochranu portů EXO.
  • Prevence neoprávněného objevování zařízení a vkládání cizích uzlů do sítě.
  • Šifrování komunikace mezi jednotlivými uzly při použití protokolu libp2p, pokud není k dispozici RDMA.

Správa modelů a jejich původu

  • Vytvoření interního registru modelů obsahující seznamy schválených modelů s jejich metadaty.
  • Označování a verzionování komprimovaných variant parametrů modelu (4bitová, 8bitová kvalita) spolu s původními daty pro trénink.
  • Stanovení povinnosti načítat modely pouze z konkrétních repozitářů HuggingFace nebo z interních zdrojů.
  • Dokumentování historie modelu, podmínek jeho licence a pravidel pro jejich využívání.

Auditní logování a dodržování předpisů

  • Konfigurace automatického odesílání logů EXO do systémů pro auditní záznamy, jako jsou SIEM nebo WORM úložiště.
  • Spojování záznamů o voláních rozhraní API s identitou uživatele a časem provádění.
  • Zaznamenávání všech akcí spojených s vytvářením, mazáním a používáním modelů pro inferenci.
  • Generování pravidelných zpráv o dodržování předpisů určených interním i externím kontrolorům.

Modelování hrozeb a reakce na incidenty

  • Identifikace rizik: neoprávněný výstup dat skrze výstupy modelu, injektáž instrukcí do vstupů či únik informací prostřednictvím vedlejších kanálů.
  • Nastavení monitorování vstupních dotazů a filtrace obsahu pomocí speciálních skriptů.
  • Vypracování postupů reakce na incidenty při ohrožení bezpečnosti clusteru.
  • Izolace napadených uzlů, zachování důkazů určených k forenzní analýze a obnova čistého prostředí.

Fyzické zabezpečení a hranice hardwaru

  • Ochrana portů Thunderbolt před neoprávněným připojením vysílačů RDMA.
  • Využití bezpečnostních enkláv a mechanismů ověřování hardwaru u zařízení Apple Silicon.
  • Omezování fyzického přístupu k počítačům Mac s nasazeným EXO i sdíleným úložišti.
  • Zaznamenávání celého životního cyklu hardwaru a postupů jeho vyřazování z provozu.

Regulační požadavky

  • Přizpůsobení nasazení EXO na požadavky předpisů GDPR, HIPAA a SOC 2.
  • Udržování dat v rámci organizace tím, že inferenze probíhá výhradně v prostředí na místě.
  • Dokumentování rizik spojených s dodavatelským řetězcem (MLX, EXO a jejich modely).
  • Příprava organizace na plnění požadavků regulačních rámců pro AI – např. článek 53 Evropského zákona o umělé inteligenci.

Požadavky

  • Zkušenosti s EXO nebo jiným lokálním runtime pro LLM
  • Pochopení pravidel přístupu k souborovému systému v Unixu a síťových ACL>
  • Orientace v správě certifikátů TLS/SSL a základech šifrování

Cílová skupina

  • Bezpečnostní inženýři
  • Pracovníci odpovědní za dodržování předpisů
  • Správci infrastruktury AI, kteří pracují s citlivými daty
 14 Hodiny

Počet účastníků


Cena za účastníka

Reference (1)

Nadcházející kurzy

Související kategorie