Kafka pro administrátory Počítačový Kurz

Základy správy clusterů Kafka

• Jak se Kafka začleňuje do moderních datových platform a jaké jsou typické povinnosti administrátorů v produkci
• Klíčové pojmy pro operátory: brokeri, témata, oddíly, ofsety, skupiny spotřebitelů
• Základy replikace: vztah mezi hlavními a následnými servery, koncept „in-sync replica“ a kompromisy v dostupnosti systému
• Důležité operační informace o Kafce a běžně používaná terminologie ve směrnicích pro provoz

Režim KRaft a navrhování clusterů

• Základy režimu KRaft: koncepty kontrolerů, kvóra pro správu metadat, proces volby nového kontrolera a jejich význam pro provoz
• Plánování nasazení: stanovení počtu uzlů podle propustnosti datových toků, počtu oddílů, doby uchovávání záznamů a očekávaného růstu systému
• Role jednotlivých uzlů a jejich rozložení: možnosti kombinování kontrolerů s ostatními službami, důležitost domén chybovosti v topologii
• Praktické cvičení: prozkoumání metadat KRaft, ověření zdravotního stavu kvóra a analýza protokolů kontrolerů

Instalace, konfigurace a běžné operace s clusterem

• Různé způsoby instalace (balíčky, archivy tarball, kontejnerizovaná řešení) a standardy vhodné k použití ve firemním prostředí
• Hlavní parametry konfigurace brokerů ovlivňující spolehlivost systému: typy naslouchacích rozhraní, nastavení replikace, uložiště protokolů a doba jejich uchovávání
• Bezpečný provoz služeb: správné pořadí spouštění komponent, postupy hladkého ukončení běhu a validační kontroly systému
• Praktické cvičení: nasazení víceuzlového clusteru, ověření registrace jednotlivých brokerů a fungování základních operací vysílání i přijímání dat

Správa témat, oddílů a rozložení dat

• Životní cyklus témat pomocí nástroje Kafka CLI: jejich vytváření, popisování, upravování parametrů i mazání
• Volba vhodného počtu oddílů a faktoru replikace podle konkrétních pracovních situací; zároveň rozpoznávání častých chyb v tomto nastavení
• Přerozdělování oddílů: určení vhodné doby k jejich změně a postup ověřování bezpečnosti tohoto procesu
• Praktické cvičení: vytvoření potřebných témat, iniciování změny rozložení dat mezi uzly, simulace výpadku jednoho brokera a ověření obnovy původního stavu

Zabezpečení clusteru v produkci

• Využití protokolu TLS pro ochranu komunikace klientů s clusterem i mezi jednotlivými brokery: správa certifikátů, řetězení důvěry a kontrolní mechanismy
• Autentizace pomocí systému SASL: výběr vhodného ověřovacího schématu a předcházení chybám v konfiguraci
• Pravidla autorizace pomocí seznamů ACL: vytvoření pravidel minimalizujících oprávnění administrátorů, producentů i spotřebitelů dat
• Praktické cvičení: aktivace protokolů TLS a SASL, ověřování spojení mezi klientem a serverem a nastavování autorizačních pravidel pro různé aplikace

Monitorování, spolehlivost a odstraňování problémů

• Hlavní ukazatele monitorování: zdravotní stav kontrolerů, počet nereplikovaných dat, doba odezvy na požadavky, vytížení disku a síťe
• Provozní protokoly a metriky: čtení logů jednotlivých brokerů a jejich export pomocí modulu JMX do standardních monitorovacích systémů
• Standardizované postupy v praxi: postupné restarty komponent, bezpečná úprava konfigurace a zvládání situací typu nedostatku místa na disku či problémů s kvórem ISR
• Praktické cvičení: sestavení minimální sady upozornění, diagnostika stavu poškozeného clusteru a obnova plného rozsahu replikace dat

Aktualizace systému a připravenost na havarijní situace

• Plánování upgradů Kafky: kontrola kompatibility, postupy v rámci testovacího prostředí i možnosti návratu k původní verzi při neúspěchu
• Možnosti zálohování a obnovy: jaké součásti lze bezpečně uložit, co nelze chránit pomocí tradičních metod a základní postupy pro konfigurační kopie
• Principy replikace mezi jednotlivými clustery a výhody nástroje MirrorMaker 2 při ochraně proti haváriím či migraci datových toků
• Závěrečné shrnutí: kontrolní seznam nutný k plnému zprovoznění clusteru, dokumentace předávané následujícím týmům a další kroky po spuštění systému v produkci