Apache Spark Počítačové Kurzy

Python je měřitelný, flexibilní a široce používaný programovací jazyk pro datovou vědu a strojové učení. Spark je datový procesor používaný při vyhledávání, analýze a transformaci velkých dat, zatímco Hadoop je rámec knihovny softwaru pro ukládání a zpracování velkých dat.

Tento výcvik vedený instruktorem (online nebo on-site) je zaměřen na vývojáře, kteří chtějí používat a integrovat Spark, Hadoop, a Python k zpracování, analýze a transformaci velkých a složitých datových souborů.

Po ukončení tohoto tréninku budou účastníci schopni:

Vytvořte nezbytné prostředí k zahájení zpracování velkých dat pomocí Spark, Hadoop, a Python. Pochopte vlastnosti, klíčové složky a architekturu Spark a Hadoop. Naučte se, jak integrovat Spark, Hadoop, a Python pro zpracování velkých dat. Prozkoumejte nástroje v ekosystému Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka a Flume). Vytvořte společné systémy doporučení pro filtrování podobné Netflix, YouTube, Amazon, Spotify a Google. Použijte Apache Mahout pro skalování algoritmů strojového učení.

Formát kurzu

Interaktivní přednáška a diskuse. Mnoho cvičení a praxe. Hands-on implementace v živém laboratoři prostředí.

Možnosti personalizace kurzu

Chcete-li požádat o přizpůsobené školení pro tento kurz, kontaktujte nás, abyste uspořádali.

In this instructor-led, live training in České republice, participants will learn how to use Python and Spark together to analyze big data as they work on hands-on exercises.

By the end of this training, participants will be able to:

- Learn how to use Spark with Python to analyze Big Data.
- Work on exercises that mimic real world cases.
- Use different tools and techniques for big data analysis using PySpark.

OBJECTIVE:

This course will introduce Apache Spark. The students will learn how Spark fits into the Big Data ecosystem, and how to use Spark for data analysis. The course covers Spark shell for interactive data analysis, Spark internals, Spark APIs, Spark SQL, Spark streaming, and machine learning and graphX.

AUDIENCE :

Developers / Data Analysts

This instructor-led, live training in (online or onsite) introduces Hortonworks Data Platform (HDP) and walks participants through the deployment of Spark + Hadoop solution.

By the end of this training, participants will be able to:

- Use Hortonworks to reliably run Hadoop at a large scale.
- Unify Hadoop's security, governance, and operations capabilities with Spark's agile analytic workflows.
- Use Hortonworks to investigate, validate, certify and support each of the components in a Spark project.
- Process different types of data, including structured, unstructured, in-motion, and at-rest.

Magellan je open-source distribuovaný výkonový motor pro geospatiální analýzu velkých dat. Implementován na vrcholu Apache Spark, rozšiřuje Spark SQL a poskytuje relativní abstrakci pro geospatiální analýzu.

Tento instruktor-ledovaný, živý trénink představuje koncepty a přístupy k implementaci geospatiální analýzy a chodí účastníky prostřednictvím vytváření prediktivní analytické aplikace pomocí Magellan na Spark.

Po ukončení tohoto tréninku budou účastníci schopni:

Efektivní vyhledávání, sdílení a připojení geospatiálních datových sítí na stupnici Implementace geospatiálních údajů v obchodní inteligenci a prediktivních analytických aplikacích Použijte prostorový kontext k rozšíření kapacity mobilních zařízení, senzorů, záznamů a nosičů

Formát kurzu

Interaktivní přednáška a diskuse. Mnoho cvičení a praxe. Hands-on implementace v živém laboratoři prostředí.

Možnosti personalizace kurzu

Chcete-li požádat o přizpůsobené školení pro tento kurz, kontaktujte nás, abyste uspořádali.

Alluxio je open-source virtuální distribuovaný systém ukládání, který spojuje rozdílné systémy ukládání a umožňuje aplikacím interagovat s daty v rychlosti paměti. Používá se společnostmi jako Intel, Baidu a Alibaba.

V tomto instruktorově vedeném, živém tréninku se účastníci naučí, jak používat Alluxio pro propojení různých počítačových rámců se systémy ukládání a efektivně spravovat multi-petabyte data, jak postupují prostřednictvím vytvoření aplikace s Alluxio.

Po ukončení tohoto tréninku budou účastníci schopni:

Rozvíjet aplikaci s Alluxio Připojení velkých datových systémů a aplikací při zachování jednoho názvového prostoru Efektivně extrahuje hodnotu z velkých dat v jakémkoli formátu ukládání Zlepšení výkonu pracovní zátěže Rozložte a spravujte Alluxio samostatně nebo klastrovaně

publikum

Data vědci Vývojář Systémový administrátor

Formát kurzu

Částečná přednáška, částečná diskuse, cvičení a těžká praxe

Spark SQL is Apache Spark's module for working with structured and unstructured data. Spark SQL provides information about the structure of the data as well as the computation being performed. This information can be used to perform optimizations. Two common uses for Spark SQL are:
- to execute SQL queries.
- to read data from an existing Hive installation.

In this instructor-led, live training (onsite or remote), participants will learn how to analyze various types of data sets using Spark SQL.

By the end of this training, participants will be able to:

- Install and configure Spark SQL.
- Perform data analysis using Spark SQL.
- Query data sets in different formats.
- Visualize data and query results.

Format of the Course

- Interactive lecture and discussion.
- Lots of exercises and practice.
- Hands-on implementation in a live-lab environment.

Course Customization Options

- To request a customized training for this course, please contact us to arrange.

In this instructor-led, live training in České republice (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.

By the end of this training, participants will be able to:

- Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming.
- Understand and select the most appropriate framework for the job.
- Process of data continuously, concurrently, and in a record-by-record fashion.
- Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
- Integrate the most appropriate stream processing library with enterprise applications and microservices.

Big data analytics involves the process of examining large amounts of varied data sets in order to uncover correlations, hidden patterns, and other useful insights.

The health industry has massive amounts of complex heterogeneous medical and clinical data. Applying big data analytics on health data presents huge potential in deriving insights for improving delivery of healthcare. However, the enormity of these datasets poses great challenges in analyses and practical applications to a clinical environment.

In this instructor-led, live training (remote), participants will learn how to perform big data analytics in health as they step through a series of hands-on live-lab exercises.

By the end of this training, participants will be able to:

- Install and configure big data analytics tools such as Hadoop MapReduce and Spark
- Understand the characteristics of medical data
- Apply big data techniques to deal with medical data
- Study big data systems and algorithms in the context of health applications

Audience

- Developers
- Data Scientists

Format of the Course

- Part lecture, part discussion, exercises and heavy hands-on practice.

Note

- To request a customized training for this course, please contact us to arrange.

Apache Spark's learning curve is slowly increasing at the begining, it needs a lot of effort to get the first return. This course aims to jump through the first tough part. After taking this course the participants will understand the basics of Apache Spark , they will clearly differentiate RDD from DataFrame, they will learn Python and Scala API, they will understand executors and tasks, etc. Also following the best practices, this course strongly focuses on cloud deployment, Databricks and AWS. The students will also understand the differences between AWS EMR and AWS Glue, one of the lastest Spark service of AWS.

AUDIENCE:

Data Engineer, DevOps, Data Scientist

Scala je kondenzovaná verze Java pro rozsáhlé funkční a objektově orientované programování. Apache Spark Streaming je rozšířenou součástí Spark API pro zpracování velkých datových souborů jako streamů v reálném čase. Spark Stream a Scala společně umožňují streamování velkých dat.

Toto školení vedené instruktory, živé (na místě nebo na dálku), je zaměřeno na softwarové inženýry, kteří chtějí streamovat velká data pomocí Spark Streaming a Scala .

Na konci tohoto školení budou účastníci schopni:

- Vytvořte aplikace Spark s programovacím jazykem Scala .
- Pomocí technologie Spark Stream můžete zpracovávat nepřetržité datové proudy.
- Zpracovávejte datové proudy dat v reálném čase pomocí technologie Spark Streaming.

Formát kurzu

- Interaktivní přednáška a diskuse.
- Spousta cvičení a cvičení.
- Praktická implementace v prostředí živé laboratoře.

Možnosti přizpůsobení kurzu

- Chcete-li požádat o přizpůsobené školení pro tento kurz, kontaktujte nás a domluvte se.

SMACK je sbírka softwaru datové platformy, a to Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra, a Apache Kafka. Pomocí SMACK stack, uživatelé mohou vytvořit a rozšiřovat platformy pro zpracování dat.

Tento instruktor vedený, živý trénink (online nebo on-site) je zaměřen na vědce údajů, kteří chtějí použít SMACK stack k budování datových zpracovatelských platforem pro řešení velkých dat.

Po ukončení tohoto tréninku budou účastníci schopni:

Vytvořte architekturu datového potrubí pro zpracování velkých dat. Rozvíjet infrastrukturu klastru s Apache Mesos a Docker. Analýza dat pomocí Spark a Scala. Řízení nestrukturovaných dat pomocí Apache Cassandra.

Formát kurzu

Interaktivní přednáška a diskuse. Mnoho cvičení a praxe. Hands-on implementace v živém laboratoři prostředí.

Možnosti personalizace kurzu

Chcete-li požádat o přizpůsobené školení pro tento kurz, kontaktujte nás, abyste uspořádali.

Apache Spark je analytický motor určený k distribuci dat po celém klastru za účelem jeho souběžného zpracování. Obsahuje moduly pro streamování, SQL, strojové učení a grafické zpracování.

Tento výcvik vedený instruktorem (online nebo on-site) je zaměřen na inženýry, kteří chtějí zavést Apache Spark systém pro zpracování velmi velkých množství dat.

Po ukončení tohoto tréninku budou účastníci schopni:

Instalace a nastavení Apache Spark. Uvědomte si rozdíl mezi Apache Spark a Hadoop MapReduce a kdy použít. Rychle si přečtěte a analyzujte velmi velké datové sady. Integrujte Apache Spark s jinými nástroji strojového učení.

Formát kurzu

Interaktivní přednáška a diskuse. Mnoho cvičení a praxe. Hands-on implementace v živém laboratoři prostředí.

Možnosti personalizace kurzu

Chcete-li požádat o přizpůsobené školení pro tento kurz, kontaktujte nás, abyste uspořádali.

Apache Spark je distribuovaný procesor pro analýzu velmi velkých datových souborů. Může zpracovávat data v batích a v reálném čase, stejně jako provádět strojové učení, ad-hoc dotazy a zpracování grafů. .NET pro Apache Spark je bezplatný, open-source a cross-platformový rámec pro analýzu velkých dat, který podporuje aplikace napsané v C# nebo F#.

Tento výcvik vedený instruktorem (online nebo on-site) je zaměřen na vývojáře, kteří chtějí provést analýzu velkých dat pomocí Apache Spark ve svých aplikacích.NET.

Po ukončení tohoto tréninku budou účastníci schopni:

Instalace a nastavení Apache Spark. Pochopte, jak.NET implementuje Spark API tak, aby byly přístupné z aplikace.NET. Rozvíjet aplikace pro zpracování dat pomocí C# nebo F#, schopné zpracovávat datové sady, jejichž velikost je měřena v terabytích a pedabytích. Rozvíjet funkce strojového učení pro aplikaci.NET pomocí funkcí Apache Spark. Provádějte průzkumnou analýzu pomocí SQL dotazů na velkých datových souborech.

Formát kurzu

Interaktivní přednáška a diskuse. Mnoho cvičení a praxe. Hands-on implementace v živém laboratoři prostředí.

Možnosti personalizace kurzu

Chcete-li požádat o přizpůsobené školení pro tento kurz, kontaktujte nás, abyste uspořádali.

Apache Hadoop je populární rámec pro zpracování dat pro zpracování velkých datových souborů na mnoha počítačích.

Tento výcvik vedený instruktorem (online nebo on-site) je zaměřen na správce systémů, kteří se chtějí dozvědět, jak vytvořit, rozvíjet a spravovat Hadoop klustery v rámci své organizace.

Po ukončení tohoto tréninku budou účastníci schopni:

Instalace a nastavení Apache Hadoop. Pochopte čtyři hlavní složky Hadoop ekosystému: HDFS, MapReduce, YARN a Hadoop Common. Použijte Hadoop Distributed File System (HDFS) pro skalování klastru na stovky nebo tisíce uzlin. • Nainstalujte HDFS, aby fungoval jako skladovací motor pro on-premise Spark deploymenty. Nastavení Spark pro přístup k alternativním úložným řešením, jako je Amazon S3 a NoSQL databázových systémů, jako jsou Redis, Elasticsearch, Couchbase, Aerospike, atd. Provádět administrativní úkoly, jako je poskytování, řízení, monitorování a zabezpečení Apache Hadoop klastru.

Formát kurzu

Interaktivní přednáška a diskuse. Mnoho cvičení a praxe. Hands-on implementace v živém laboratoři prostředí.

Možnosti personalizace kurzu

Chcete-li požádat o přizpůsobené školení pro tento kurz, kontaktujte nás, abyste uspořádali.

This instructor-led, live training in České republice (online or onsite) is aimed at data scientists and developers who wish to use Spark NLP, built on top of Apache Spark, to develop, implement, and scale natural language text processing models and pipelines.

By the end of this training, participants will be able to:

- Set up the necessary development environment to start building NLP pipelines with Spark NLP.
- Understand the features, architecture, and benefits of using Spark NLP.
- Use the pre-trained models available in Spark NLP to implement text processing.
- Learn how to build, train, and scale Spark NLP models for production-grade projects.
- Apply classification, inference, and sentiment analysis on real-world use cases (clinical data, customer behavior insights, etc.).

MLlib is Spark’s machine learning (ML) library. Its goal is to make practical machine learning scalable and easy. It consists of common learning algorithms and utilities, including classification, regression, clustering, collaborative filtering, dimensionality reduction, as well as lower-level optimization primitives and higher-level pipeline APIs.

It divides into two packages:

-

spark.mllib contains the original API built on top of RDDs.

-

spark.ml provides higher-level API built on top of DataFrames for constructing ML pipelines.

Audience

This course is directed at engineers and developers seeking to utilize a built in Machine Library for Apache Spark

This course is aimed at developers and data scientists who wish to understand and implement AI within their applications. Special focus is given to Data Analysis, Distributed AI and NLP.

In this instructor-led, live training in České republice, participants will learn about the technology offerings and implementation approaches for processing graph data. The aim is to identify real-world objects, their characteristics and relationships, then model these relationships and process them as data using a Graph Computing (also known as Graph Analytics) approach. We start with a broad overview and narrow in on specific tools as we step through a series of case studies, hands-on exercises and live deployments.

By the end of this training, participants will be able to:

- Understand how graph data is persisted and traversed.
- Select the best framework for a given task (from graph databases to batch processing frameworks.)
- Implement Hadoop, Spark, GraphX and Pregel to carry out graph computing across many machines in parallel.
- View real-world big data problems in terms of graphs, processes and traversals.