Návrh Školení
Úvod
Pochopení velkých dat
Přehled Spark
Přehled Pythonu
Přehled PySpark
- Distribuce dat pomocí frameworku Resilient Distributed Datasets
- Distribuce výpočtů pomocí operátorů Spark API
Nastavení Pythonu se Sparkem
Nastavení PySpark
Použití instancí Amazon Web Services (AWS) EC2 pro Spark
Nastavení Databricks
Nastavení klastru AWS EMR
Naučení základů programování v Pythonu
- Začínání s Pythonem
- Používání Jupyter Notebook
- Používání proměnných a jednoduchých datových typů
- Práce se seznamy
- Používání podmíněných příkazů (if)
- Používání vstupů uživatele
- Práce s cykly while
- Implementace funkcí
- Práce s třídami
- Práce se soubory a výjimkami
- Práce s projekty, daty a API
Naučení základů Spark DataFrame
- Začínání se Spark DataFrames
- Implementace základních operací se Sparkem
- Používání operací Groupby a agregace
- Práce s časovými razítky a datumi
Práce na projektovém úkolu se Spark DataFrame
Pochopení strojového učení s MLlib
Práce s MLlib, Spark a Pythonem pro strojové učení
Pochopení regresí
- Naučení teorie lineární regrese
- Implementace kódu pro hodnocení regrese
- Práce na ukázkovém úkolu lineární regrese
- Naučení teorie logistické regrese
- Implementace kódu logistické regrese
- Práce na ukázkovém úkolu logistické regrese
Pochopení náhodných lesů a rozhodovacích stromů
- Naučení teorie stromových metod
- Implementace kódů rozhodovacích stromů a náhodných lesů
- Práce na ukázkovém úkolu klasifikace náhodným lesem
Práce s K-means shlukováním
- Pochopení teorie K-means shlukování
- Implementace kódu K-means shlukování
- Práce na ukázkovém úkolu shlukování
Práce s doporučovacími systémy
Implementace zpracování přirozeného jazyka
- Pochopení zpracování přirozeného jazyka (NLP)
- Přehled nástrojů NLP
- Práce na ukázkovém úkolu NLP
Streaming se Sparkem v Pythonu
- Přehled streamingu se Sparkem
- Ukázkový úkol Spark Streaming
Požadavky
- Základní programovací dovednosti
Publikum
- Programátoři
- IT profesionálové
- Data vědci
Reference (6)
Líbilo se mi, že to bylo praktické. Miloval jsem aplikovat teoretické znalosti na praktické příklady.
Aurelia-Adriana - Allianz Services Romania
Kurz - Python and Spark for Big Data (PySpark)
Přeloženo strojem
Kurz se týkal řady velmi komplexních souvisejících témat a Pablo má hlubokou odbornost v každém z nich. Občas byly odstíny při komunikaci ztraceny a/nebo kvůli časovým tlačením, což možná vedlo k tomu, že nebyly splněny očekávání. Kromě toho došlo k některým problémům s nastavením UHG/Azure Databricks, ale Pablo a UHG je rychle vyřešili, jakmile se projevily - to mi ukázalo vysokou úroveň pochopení a profesionality mezi UHG a Pablo.
Michael Monks - Tech NorthWest Skillnet
Kurz - Python and Spark for Big Data (PySpark)
Přeloženo strojem
Jednotlivá pozornost.
ARCHANA ANILKUMAR - PPL
Kurz - Python and Spark for Big Data (PySpark)
Přeloženo strojem
Přímo v praxi se naučíte..
Abraham Thomas - PPL
Kurz - Python and Spark for Big Data (PySpark)
Přeloženo strojem
Lekce byly vyučovány v Jupyter notebooku. Téma byla strukturována s logickou sekvencí a přirozeně pomáhala rozvíjet sezení od jednoduchších částí k složitějším. Už jsem pokročilý uživatel Pythonu s pozadím v oblasti strojového učení, takže mi kurz připadal snazší k sledování než možná některým z mých spolužáků, kteří absolvovali školení. Oceňuji, že byly vynechány některé ze základních pojmů a že se soustředil na nejdůležitější otázky.
Angela DeLaMora - ADT, LLC
Kurz - Python and Spark for Big Data (PySpark)
Přeloženo strojem
cvičné úkoly
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurz - Python and Spark for Big Data (PySpark)
Přeloženo strojem
