Souborový systém Lustre pro administrátory Počítačový Kurz

I. Přehled technologie Lustre

1. Přehled technologie Lustre

• Úvod do souběžných souborových systémů a požadavků na úložiště HPC
• Role Lustre v prostředí výpočetních systémů s vysokým výkonem
• Evoluce a architektura Lustre
• Srovnání s tradičními distribuovanými a síťovými souborovými systémy
• Běžná scénáře nasazení Lustre

2. Funkce a kapacity Lustre

• Vysokoprovoznostní souběžné I/O
• Masitelnost pro velké výpočetní prostředí
• Koncepce oddělení metadat a dat
• Výkonnostní charakteristiky a omezení
• Integrace s HPC klastry a vědeckými pracovními vytíženími

II. Architektura Lustre a klíčové komponenty

1. Architektura systému Lustre

• Pochopení klient-server architektury Lustre
• Přehled komponent Lustre:
  • Metadata Server (MDS)
  • Metadata Target (MDT)
  • Object Storage Server (OSS)
  • Object Storage Target (OST)
  • Klienti Lustre

2. Koncepty správy dat Lustre

• Principy souběžného řádkování (stripingu) a úložiště objektů
• Operace s metadaty
• Strategie umisťování dat
• Logická organizace úložiště

III. Plánování hardwaru a příprava prostředí

1. Navrhování infrastrukturního úložiště Lustre

• Výběr hardwarových komponent
• Požadavky na úložišťové servery
• Technologie disků a zohlednění RAID
• Plánování síťové infrastruktury
• Plánování kapacity a výkonu

2. Příprava operačního prostředí

• Podporované operační systémy
• Požadavky na jádro a ovladače
• Požadavky na konfiguraci sítě
• Příprava serverů a klientů

IV. Instalace a konfigurace Lustre

1. Proces instalace Lustre

• Instalace softwarových balíčků Lustre
• Konfigurace repositarií a závislostí
• Příprava serverových a klientských uzlů
• Inicializace služeb Lustre

2. Vytvoření souborového systému Lustre

• Formátování cílů metadat a úložiště objektů
• Konfigurace parametrů souborového systému
• Připojení (mounting) klientů Lustre
• Ověření instalace

V. Správa sítě Lustre

1. Síťová architektura Lustre

• Přehled LNet (Lustre Networking)
• Podporované síťové technologie
• Konfigurace síťových rozhraní
• Správa více síťových cest

2. Optimalizace síťového výkonu

• Strategie ladění sítě
• Zohlednění propustnosti a latence
• Vyhledávání a odstraňování problémů s komunikací v síti

VI. Rozvržení souborů, správa úložiště a administrace prostoru

1. Správa rozvržení souborů

• Pochopení konceptů řádkování (stripingu)
• Konfigurace počtu, velikosti a umístění pruhů (stripes)
• Optimalizace rozvržení pro pracovní vytížení

2. Správa kapacity úložiště

• Monitorování využití OST
• Vyvažování využití úložiště
• Správa poolů úložiště
• Rozšíření kapacity Lustre

VII. Správa I/O výkonu Lustre

1. Pochopení I/O operací Lustre

• Koncepce souběžného I/O
• Výkon metadat vs. výkon dat
• Mezitílové cache na straně klienta
• Vzorce I/O a charakteristiky pracovního vytížení

2. Techniky optimalizace výkonu

• Ladění konfigurací pruhů (stripes)
• Optimalizace pracovních vytížení aplikací
• Zlepšování výkonu metadat
• Snižování I/O úzkých hrdel

VIII. Bezpečnost Lustre a správa přístupu

1. Zabezpečování prostředí Lustre

• Správa uživatelů a skupin
• Koncepce ověřování (autentizace)
• Zvažování bezpečnosti sítě
• Chrání přístupu k datům

2. Správa přístupových kontrol

• Oprávnění souborů
• Konfigurace ACL
• Nejlepší praktiky bezpečnosti

IX. Správa kvót a řízení zdrojů

1. Správa kvót Lustre

• Pochopení uživatelských a skupinových kvót
• Konfigurace nastavení kvót
• Monitorování využití kvót
• Řešení porušení kvót

2. Různá kapacita governance

• Správa spotřeby úložiště
• Plánování alokace zdrojů

X. Vysoká dostupnost a spolehlivost

1. Navrhování systémů Lustre s vysokou dostupností

• Koncepce vysoké dostupnosti
• Architektura přepínání při selhání (failover)
• Redundance serverů metadat
• Mechanismy obnovení služeb

2. Monitorování zdraví systému

• Detekce selhání
• Správa degradovaných stavů
• Postupy obnovení

XI. Monitorování, benchmarkování a analýza výkonu

1. Nástroje monitorování Lustre

• Monitorování výkonu systému
• Kontrola zdraví serverů a klientů
• Sbíraní operačních statistik
• Identifikace úzkých hrdel

2. Benchmarkování výkonu Lustre

• Principy testování výkonu
• Nástroje a metodiky benchmarkování
• Měření propustnosti a latence
• Interpretace výsledků benchmarků

XII. Zálohování, obnova a ochrana dat

1. Strategie zálohování Lustre

• Zvažování plánování zálohování
• Ochrana metadat a uživatelských dat
• Koncepce snímků a replikace

2. Operace obnovení

• Obnovení služeb Lustre
• Obnova z selhání
• Ověření integrity dat

XIII. Aktualizace a údržba Lustre

1. Plánování aktualizací Lustre

• Příprava prostředí pro aktualizaci
• Zvažování kompatibility
• Postupy aktualizace

2. Údržba systému

• Aplikace záplat
• Správa změn konfigurace
• Minimalizace prostojů

XIV. Řešení problémů Lustre v produkčních prostředích

1. Metodika řešení problémů

• Pochopení logů Lustre
• Identifikace běžných vzorců selhání
• Diagnostické příkazy a nástroje

2. Běžné problémy s Lustre

• Selhání síťové komunikace
• Problemy s výkonem metadat
• Selhání OST
• Problémy s připojením (mounting) klientů
• Snížení výkonu

XV. Závěrečný workshop a shrnutí kurzu

1. Cvičení správy Lustre od konce do konce

• Revue designu architektury
• Nasazení a konfigurace Lustre
• Monitorování výkonu systému
• Řešení operačních problémů

2. Shrnutí a nejlepší praktiky

• Klíčové koncepty správy
• Doporučení pro produkční nasazení
• Kontrolní seznam optimalizace výkonu
• Q&A a revue znalostí