Návrh Školení
Vstup do Google Colab a Apache Spark
- Přehled o Google Colab
- Úvod do Apache Spark
- Nastavení Sparku v Google Colab
Zpracování dat s použitím Apache Spark
- Práce s RDDs a DataFramey
- Načítání a zpracování velkých datových sad
- Použití Sparku SQL pro dotazování strukturovaných dat
Pokročilá analýza s použitím Sparku
- Strojové učení pomocí Spark MLlib
- Provádění reálně časové analýzy dat
- Distribuované výpočty s použitím Sparku
Vizualizace a Collaboration v Google Colab
- Integrace Colabu s populárními vizualizačními knihovnami
- Kolaborativní pracovní postupy pomocí Colab notebooků
- Sdílení a export výsledků
Optimalizace Big Data pracovních postupů
- Tuning Sparku pro výkon
- Optimalizace použití paměti a úložiště
- Škálování pracovních postupů pro velké datové sady
Big Data v cloudu
- Integrace Google Colab s nástroji založenými na cloudu
- Použití cloudového úložiště pro velká data
- Práce s Sparkem v distribuovaných prostředích cloudu
Případové studie a nejlepší praktiky
- Rezignace reálných aplikací velkých dat
- Případové studie pomocí Apache Spark a Colabu
- Nejlepší praktiky pro analýzu velkých dat
Závěr a další kroky
Požadavky
- Základní znalosti konceptů datové vědy
- Farnost s Apache Spark
- Znalosti programování v Python
Cílová skupina
- Datoví vědci
- Datoví inženýři
- Výzkumníci pracující s velkými daty
Reference (3)
Provádění cvičení
Joe Pang - Lands Department, Hong Kong
Kurz - QGIS for Geographic Information System
Přeloženo strojem
Praktické příklady nám umožnily skutečně pochopit, jak program funguje. Dobré vysvětlení a integrace teoretických konceptů a jejich souvislost s praktickými aplikacemi.
Ian - Archeoworks Inc.
Kurz - ArcGIS Fundamentals
Přeloženo strojem
Těším se na další školení s Anym, byl skutečně skvělý. Jsem pouze GIS odborník, ale Any mi všechno jasně vysvětlil a komplikované procesy popsal velmi přesně a pochopitelně. Pokračujte takto, děkuji.
Lwazi Qhingana - South African National Roads Agency (SANRAL) SOC Ltd
Kurz - Python for Geographic Information System (GIS)
Přeloženo strojem