Návrh Školení
Úvod
- Přehled vlastností a architektury Sparku a Hadoopu
- Základy velkých dat
- Základy programování v Pythonu
Začínáme
- Nastavení prostředí pro Python, Spark a Hadoop
- Práce s datovými strukturami v Pythonu
- Pochopení API PySpark
- Seznámení se systémem HDFS a technikou MapReduce
Integrace Sparku, Hadoopu a Pythonu
- Využití RDD v rámci Sparku s Pythonem
- Zpracování dat pomocí MapReduce
- Tvorba distribuovaných datových sad v HDFS
Strojové učení s využitím Spark MLlib
Zpracování velkých dat pomocí Spark Streamingu
Praktická práce s doporučovacími systémy
Použití nástrojů Kafka, Sqoop a Flume
Apache Mahout v kombinaci se Sparkem a Hadoopem
Ledení problémů
Shrnutí a další kroky
Požadavky
- Předchozí zkušenosti se Sparkem a Hadoopem
- Znalost programování v Pythonu
Cílová skupina
- Odborníci na datovou analýzu
- Vývojáři
Reference (3)
Skutečnost, že jsme mohli s sebou vzít většinu informací, kurzů, prezentací a cvičení, které jsme absolvovali, takže si je můžeme prohlédnout a možná opakovat to, co jsme poprvé nepochopili, nebo vylepšit to, co jsme již udělali.
Raul Mihail Rat - Accenture Industrial SS
Kurz - Python, Spark, and Hadoop for Big Data
Přeloženo strojem
Oběloval jsem, že se podařilo položit základy tématu a pokročit i k některým dosti pokročilým cvičením. Kromě toho byly nabídnuty jednoduché způsoby psaní a testování kódu.
Ionut Goga - Accenture Industrial SS
Kurz - Python, Spark, and Hadoop for Big Data
Přeloženo strojem
Živé příklady
Ahmet Bolat - Accenture Industrial SS
Kurz - Python, Spark, and Hadoop for Big Data
Přeloženo strojem