Návrh Školení
Úvod
Pochopení Big Data
Přehled Spark
Přehled Python
Přehled PySpark
- Distribuce dat pomocí systému Resilient Distributed Datasets Framework
- Distribuce výpočtů pomocí operátorů Spark API
Nastavení Python pomocí Spark
Nastavení PySpark
Použití Amazon Web Services (AWS) Instancí EC2 pro Spark
Nastavení Databricks
Nastavení klastru AWS EMR
Naučit se základy Python Programming
- Začínáme s Python
- Používání notebooku Jupyter
- Použití proměnných a jednoduchých datových typů
- Práce se seznamy
- Použití příkazů if
- Použití uživatelských vstupů
- Práce s smyčkami while
- Implementační funkce
- Práce s třídami
- Práce se soubory a výjimkami
- Práce s projekty, daty a rozhraními API
Seznámení se základy Spark DataFrame
- Začínáme se Spark DataFrames
- Implementace základních operací se Sparkem
- Použití Groupby a Aggregate Operations
- Práce s časovými razítky a daty
Práce na cvičení projektu Spark DataFrame
Porozumění Machine Learning s MLlib
Práce s MLlib, Spark a Python pro Machine Learning
Pochopení regresí
- Učení teorie lineární regrese
- Implementace kodexu hodnocení regrese
- Práce na vzorovém cvičení lineární regrese
- Naučte se teorii logistické regrese
- Implementace kódu logistické regrese
- Práce na vzorovém cvičení logistické regrese
Pochopení Random Forest a rozhodovacích stromů
- Teorie metod učícího se stromu
- Implementace rozhodovacích stromů a Random Forest kódů
- Práce na vzorku Random Forest Klasifikační cvičení
Práce s K-means Clustering
- Pochopení K-means Clustering Theory
- Implementace K-means Clustering Code
- Práce na vzorovém shlukovacím cvičení
Práce s Recommender Systems
Implementace zpracování přirozeného jazyka
- Pochopení Natural Language Processing (NLP)
- Přehled nástrojů NLP
- Práce na ukázkovém cvičení NLP
Streamování se zapnutým Sparkem Python
- Přehled Streamování se Sparkem
- Ukázka Spark Streaming Cvičení
Závěrečné poznámky
Požadavky
- Obecné znalosti programování
Publikum
- Vývojáři
- IT profesionálové
- Data Scientists
Reference (6)
Líbilo se mi, že to bylo praktické. Miloval jsem aplikovat teoretické znalosti na praktické příklady.
Aurelia-Adriana - Allianz Services Romania
Kurz - Python and Spark for Big Data (PySpark)
Přeloženo strojem
Kurz se týkal řady velmi komplexních souvisejících témat a Pablo má hlubokou odbornost v každém z nich. Občas byly odstíny při komunikaci ztraceny a/nebo kvůli časovým tlačením, což možná vedlo k tomu, že nebyly splněny očekávání. Kromě toho došlo k některým problémům s nastavením UHG/Azure Databricks, ale Pablo a UHG je rychle vyřešili, jakmile se projevily - to mi ukázalo vysokou úroveň pochopení a profesionality mezi UHG a Pablo.
Michael Monks - Tech NorthWest Skillnet
Kurz - Python and Spark for Big Data (PySpark)
Přeloženo strojem
Jednotlivá pozornost.
ARCHANA ANILKUMAR - PPL
Kurz - Python and Spark for Big Data (PySpark)
Přeloženo strojem
Přímo v praxi se naučíte..
Abraham Thomas - PPL
Kurz - Python and Spark for Big Data (PySpark)
Přeloženo strojem
Lekce byly vyučovány v Jupyter notebooku. Téma byla strukturována s logickou sekvencí a přirozeně pomáhala rozvíjet sezení od jednoduchších částí k složitějším. Už jsem pokročilý uživatel Pythonu s pozadím v oblasti strojového učení, takže mi kurz připadal snazší k sledování než možná některým z mých spolužáků, kteří absolvovali školení. Oceňuji, že byly vynechány některé ze základních pojmů a že se soustředil na nejdůležitější otázky.
Angela DeLaMora - ADT, LLC
Kurz - Python and Spark for Big Data (PySpark)
Přeloženo strojem
cvičné úkoly
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurz - Python and Spark for Big Data (PySpark)
Přeloženo strojem