Návrh Školení
Úvod
- Úvod do cloud computingu a řešení Big Data Přehled Apache Hadoop Funkce a architektura
Nastavení Hadoop
- Plánování Hadoop clusteru (on-premise, cloud, atd.) Výběr OS a Hadoop distribuce Poskytování zdrojů (hardware, síť atd.) Stažení a instalace softwaru Nastavení velikosti clusteru pro flexibilitu
Práce s HDFS
- Porozumění Hadoop Distributed File System (HDFS) Přehled příkazů HDFS Přístup k HDFS Provádění základních operací se soubory na HDFS Použití S3 jako doplňku HDFS
Přehled MapReduce
- Pochopení toku dat v rámci MapReduce Ukázka mapy, náhodného řazení, třídění a snižování: Počítání nejlepších platů
Práce s YARN
- Pochopení správy zdrojů v Hadoop Práce s ResourceManager, NodeManager, Application Master Scheduling úloh pod YARN Scheduling pro velký počet uzlů a clusterů Ukázka: Plánování úloh
Integrace Hadoop se Sparkem
- Nastavení úložiště pro Spark (HDFS, Amazon, S3, NoSQL atd.) Pochopení odolných distribuovaných datových sad (RDD) Vytvoření RDD Implementace RDD Transformations Demo: Implementace programu pro vyhledávání textu pro filmové tituly
Správa Hadoop Clusteru
- Monitorování Hadoop Zabezpečení clusteru Hadoop Přidávání a odebírání uzlů Spuštění srovnávacího testu výkonu Vyladění clusteru Hadoop pro optimalizaci výkonu Plánování zálohování, obnovy a kontinuity provozu Zajištění vysoké dostupnosti (HA)
Upgrade a migrace Hadoop clusteru
- Posouzení požadavků na pracovní zátěž Upgrade Hadoop Přechod z on-premise do cloudu a naopak Obnova po selhání
Odstraňování problémů
Shrnutí a závěr
Požadavky
- Zkušenosti se správou systému
- Zkušenosti s příkazovým řádkem Linux
- Pochopení konceptů velkých dat
Publikum
- Správci systému
- DBA
Reference (6)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Kurz - Python and Spark for Big Data (PySpark)
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Kurz - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
I thought he did a great job of tailoring the experience to the audience. This class is mostly designed to cover data analysis with HIVE, but me and my co-worker are doing HIVE administration with no real data analytics responsibilities.
ian reif - Franchise Tax Board
Kurz - Data Analysis with Hive/HiveQL
Sufficient hands on, trainer is knowledgable
Chris Tan
Kurz - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.
Safar Alqahtani - Elm Information Security
Kurz - Big Data Analytics in Health
Having hands on session / assignments