Návrh Školení
Sekce 1: Data Management v HDFS
- Různé Formáty Dat (JSON / Avro / Parquet)
- Schema Komprese
- Zašifrování Dat
- Laboratoře: Analyzování různých formátů dat; povolení komprese
Sekce 2: Pokročilé Použití Pig
- Vlastní Funkce (User-defined Functions)
- Přehled o Knihovnách Pig (ElephantBird / Data-Fu)
- Nahrávání Složitě Strukturovaných Dat pomocí Pig
- Tuning Pig
- Laboratoře: pokročilé skriptování v Pig, analýza složitých datových typů
Sekce 3 : Pokročilé Hive
- Vlastní Funkce (User-defined Functions)
- Kompresní Tabulky
- Tuning Výkonu pro Hive
- Laboratoře: vytváření komprimovaných tabulek, hodnocení formátů a konfigurací tabulek
Sekce 4 : Pokročilé HBase
- Pokročilé Schémové Modelování
- Komprese
- Hromadné Nahrávání Dat
- Porovnání širokých a vysokých tabulek (Wide-table / Tall-table)
- HBase a Pig
- HBase a Hive
- Tuning Výkonu HBase
- Laboratoře: tuning HBase; přístup k datům v HBase z Pig & Hive; Použití Phoenix pro modelování dat
Požadavky
- pohodlné používání jazyka Java (většina programovacích cvičení je v jazyce Java)
- pohodlné používání prostředí Linux (schopnost navigovat v příkazovém řádku Linux, úprava souborů pomocí vi / nano)
- praktické znalosti Hadoop.
Laboratorní prostředí
Žádné nainstalování: Není třeba instalovat software Hadoop na počítače studentů! Bude poskytnut pracující hadoop cluster pro studenty.
Studenti budou potřebovat následující
Reference (5)
The live examples
Ahmet Bolat - Accenture Industrial SS
Kurz - Python, Spark, and Hadoop for Big Data
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Kurz - Apache NiFi for Administrators
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Kurz - Impala for Business Intelligence
That I had it in the first place.
Peter Scales - CACI Ltd
Kurz - Apache NiFi for Developers
practical things of doing, also theory was served good by Ajay