Big Data Business Intelligence pro Telecom a poskytovatelé služeb Communication Počítačový Kurz

Zlom témat na každý den: (Každá sezení trvá 2 hodiny)

Den-1: Seznam -1: Obchodní přehled o tom, proč je v telekomunikacích důležitá Big Data Business Intelligence.

• Případové studie od T-Mobile, Verizon atd.
• Rychlost adaptace Big Data v severoamerických telekomunikacích a jak se přizpůsobují svým budoucím obchodním modelům a operacím kolem Big Data BI
• Široké aplikativní oblasti
• Správa sítě a služeb
• Správa zákaznické odsunutí (churn)
• Integrace dat a vizualizace na řídicích panelech
• Správa podvodů
• Vytváření obchodních pravidel
• Zákaznické profilování
• Posouvání místních reklam

Den-1: Seznam -2 : Úvod do Big Data-1

• Hlavní charakteristiky Big Data – objem, rozmanitost, rychlost a věrohodnost. Architektura MPP pro objem.
• Data Warehouses – statické schéma, pomalu se měnící datová sada
• MPP databáze jako Greenplum, Exadata, Teradata, Netezza, Vertica atd.
• Hadoopové řešení – bez podmínek na strukturu datové sady.
• Typický vzor : HDFS, MapReduce (zpracování), získávání dat z HDFS
• Sériové – vhodné pro analytická/neninteraktivní úlohy
• Objem : streamování dat CEP
• Typické volby – produkty CEP (např. Infostreams, Apama, MarkLogic atd.)
• Méně připravena k výrobnímu použití – Storm/S4
• NoSQL databáze – (sloupcové a klíč-hodnota): Nejlépe vyhovují jako analytické doplňky k data warehouse/databázím

Den-1 : Seznam -3 : Úvod do Big Data-2

NoSQL řešení

• KV úložiště – Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• KV úložiště – Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• KV úložiště (hierarchické) – GT.m, Cache
• KV úložiště (seřazené) – TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• KV cache – Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Tuple úložiště – Gigaspaces, Coord, Apache River
• Objektová databáze – ZopeDB, DB40, Shoal
• Dokumentové úložiště – CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databází, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Úložiště širokých sloupců – BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Různé druhy dat: Úvod do problémů čištění dat v Big Data

• RDBMS – statická struktura/schéma, neuspívá vytvářet agilní, průzkumný prostředí.
• NoSQL – semi strukturované, dostatečně strukturované k ukládání dat bez přesného schématu před ukládáním dat
• Problémy čištění dat

Den-1 : Seznam -4 : Úvod do Big Data-3 : Hadoop

• Kdy vybrat Hadoop?
• STRUKTURÓVANÁ - Podnikové data warehouse/databáze mohou uchovávat obrovská data (za cenu), ale stanovují strukturu (což není vhodné pro aktivní průzkum)
• SEMI STRUKTURÓVANÁ data – těžké zpracovat pomocí tradičních řešení (DW/DB)
• Skladování dat = obrovský úsilí a statické i po implementaci
• Pro různorodost & objem dat, zpracovaných na standardním hardwaru – HADOOP
• Potřeba standardního HW pro vytvoření clusteru Hadoop

Úvod do Map Reduce /HDFS

• MapReduce – distribuované výpočetní zpracování přes více serverů
• HDFS – udržuje data místně pro výpočetní proces (s redundantností)
• Data – mohou být nestrukturovaná/bez schématu (na rozdíl od RDBMS)
• Odpovědnost vývojáře za interpretaci dat
• Programování MapReduce = práce s Javou (výhody/nedostatky), manuální nahrávání dat do HDFS

Den-2: Seznam -1.1: Spark : V paměti distribuovaná databáze

• Co je "v paměti" zpracování?
• Spark SQL
• Spark SDK
• Spark API
• RDD
• Spark Lib
• Hanna
• Jak migrovat existující Hadoop systém na Spark

Den-2: Seznam -1.2: Storm - Reálné časové zpracování v Big Data

• Průtoky dat (Streams)
• Sprosty (Sprouts)
• Klapky (Bolts)
• Topologie

Den-2: Seznam -2: Systém pro správu Big Data

• Hýbající se části, výpočetní uzly startují/ selhávají : ZooKeeper – pro konfiguraci/souřadnictví/názvy služeb
• Složitá potrubí/pracovní postupy: Oozie – správa pracovních postupů, závislostí, sériových členění
• Nasazení, konfigurace, správa clusteru, upgrade atd. (systémový administrátor) : Ambari
• V cloudu : Whirr
• Se vylepšující nástroje pro sledování platformy Big Data
• Problémy s vrstvou ETL aplikací

Den-2: Seznam -3: Prediktivní analýza v Business Intelligence -1: Základní techniky a machine learningová BI:

• Úvod do strojového učení
• Techniky klasifikace
• Bajesovská predikce – příprava souboru pro trénování
• Markovův náhodný graf
• Nadzorované a nenadzorované učení
• Vytažení vlastností (feature extraction)
• Podporující vektorový stroj (SVM)
• Neuronová sít
• Zpětnovazebné učení
• Velké problém s proměnnými dat – Náhodný les (RF)
• Vytažení reprezentace (representation learning)
• Hluboké učení
• Problém automatizace Big Data – Multimodelový ensemble RF
• Automatizace prostřednictvím Soft10-M
• LDA a tématické modelování
• Agilní učení
• Základově založené učení – příklad ze telekomunikací
• Distribuované učení –příklad ze telekomunikací
• Úvod do open source nástrojů pro prediktivní analýzu : R, Rapidminer, Mahut
• Víc škálovatelná analýza-Apache Hama, Spark a CMU Graph lab

Den-2: Seznam -4 Prediktivní ekosystém-2: Běžné prediktivní problémy v telekomunikacích

• Pohledová analýza (Insight analytic)
• Vizualizační analýza (Visualization analytic)
• Strukturovaná prediktivní analýza (Structured predictive analytic)
• Nestrukturovaná prediktivní analýza (Unstructured predictive analytic)
• Zákaznické profilování
• Doporučovací motor
• Patervní detekce
• Objev pravidel/scenářů – selhání, podvod, optimalizace
• Detekce kořenové příčiny (Root cause discovery)
• Sentimentální analýza
• KRM analýza
• Síťová analýza
• Textová analýza
• Vyjednávání podporované technologií (Technology assisted review)
• Prediktivní analýza podvodů
• Analýza v reálném čase

Den-3 : Seznam -1 : Síťová operační analýza – kořenová příčina selhání sítě, přerušení služeb z meta dat, IPDR a CRM:

• Použití CPU
• Použití paměti (Memory Usage)
• Využití front QoS (QoS Queue Usage)
• Teplota zařízení (Device Temperature)
• Chyby rozhraní (Interface Error)
• Verze iOS
• Směrovací události (Routing Events)
• Variace latence (Latency variations)
• Syslog analýza
• Ztráta paketů (Packet Loss)
• Napodobení zatížení (Load simulation)
• Inferování topologie (Topology inference)
• Práh výkonu (Performance Threshold)
• Lovce zařízení (Device Traps)
• Sběr a zpracování dat IPDR (IP Detailed Record)
• Použití dat IPDR pro spotřebu šířky pásma přihlášených uživatelů, využití síťového rozhraní, stav a diagnostiku modemu
• HFC informace

Den-3: Seznam -2: Nástroje pro analýzu selhání síťových služeb:

• Síťová sestava přehledu (Network Summary Dashboard): monitorovat celkové nasazení sítě a sledovat klíčové ukazatele výkonu vaší organizace
• Analýza v špičce přehledem (Peak Period Analysis Dashboard): porozumět trendům aplikací a zákazníků, které ovlivňují maximální využití, s místně specifickou podrobností
• Účinnost směrování přehledem (Routing Efficiency Dashboard): kontrolovat náklady na síť a budovat obchodní případy pro kapitálové projekty s plným pochopením vztahů mezi mezipřipojeními a transitními směrováními
• Přehled zábavy v reálném čase (Real-Time Entertainment Dashboard): přístup k relevantním metrikám, včetně počtu zobrazení videa, trvání a kvality zážitku u videa (QoE)
• Přehled přechodu na IPv6 (IPv6 Transition Dashboard): zkoumat průběh přijetí IPv6 ve vaší síti a získat přehled o aplikacích a zařízeních, které vytvářejí trendy
• Případová studie-1: Alcatel-Lucent Big Network Analytics (BNA) Data Miner
• Mnohorozměrná mobilní inteligence (m.IQ6)

Den-3 : Seznam 3: Big Data BI pro marketing a prodej – porozumění marketingu/prodeji z dat o prodeji: (Všechno bude ukázáno s živou prediktivní analýzou)

• Identifikace nejrychleji se pohybujících klientů
• Identifikace klientů pro dané produkty
• Identifikace správného souboru produktů pro klienta (Doporučovací motor)
• Technika tržní segmentace
• Cross-Sale a upsale technika
• Technika segmentace klientů
• Technika předpovědi prodejních výnosů

Den-3: Seznam 4: BI potřebné pro kancelář CFO:

• Přehled práce Business Analytics třeba v kanceláři CFO
• Risková analýza nových investic
• Předpověď příjmů a zisku
• Předpověď akvizice nových klientů
• Předpověď ztrát
• Analýza podvodů v financích (podrobnosti v následujícím seznamu)

Den-4 : Seznam -1: Prevence podvodů BI z Big Data ve telekomunikacích-Financová analýza:

• Odtok šířky pásma / podvod s šířkou pásma
• Podvod poskytovatelů/ přeplacení za projekty
• Zákaznické vrácení/vyžádání výplat – podvody
• Podvody s náhradou cestovních výdajů

Den-4 : Seznam -2: Od predikce odsunutí k prevenci odsunutí:

• 3 typy odsunutí : Aktivní/Dobečné, Rotující/Náhodné, Pasivní Nucené
• 3 klasifikace odstupujících klientů: Celkově, Skrytě, Parciálně
• Porozumění proměnným CRM pro odsunutí
• Sběr dat o chování zákazníků
• Sběr dat o vnímání zákazníků
• Sběr demografických dat o zákaznících
• Čištění CRM dat
• Nestrukturovaná data CRM (volání, tikety, e-maily) a jejich převod na strukturovaná data pro analýzu odsunutí
• Sociální média CRM – nový způsob extrahování indexu spokojenosti zákazníků
• Případová studie-1 : T-Mobile USA: Snížení odsunutí o 50%

Den-4 : Seznam -3: Jak použít prediktivní analýzu pro kořenovou příčinu nespokojenosti zákazníků:

• Případová studie -1 : Propojení nespokojenosti s problémy – Účetnictví, inženýrské selhání jako přerušení služeb, chudší šířka pásma
• Případová studie-2: Big Data QA dashboard pro sledování indexu spokojenosti zákazníků na základě různých parametrů jako eskalace hovorů, kritickost problémů, probíhající přerušení služeb atd.

Den-4: Seznam -4: Big Data řídicí panel pro rychlý přístup ke různorodým datům a jejich zobrazení:

• Integrace stávajícího aplikačního platformy s Big Data řídicím panelem
• Správa Big Data
• Případová studie o Big Data řídicím panelu: Tableau a Pentaho
• Použití aplikace Big Data k posouvání geograficky orientované reklamy
• Sledovací systém a správa

Den-5 : Seznam -1: Jak ospravedlnit implementaci Big Data BI v organizaci:

• Definování ROI pro implementaci Big Data
• Případové studie o úsporách času analytiků na sběr a přípravu dat – zvýšení produktivity
• Případové studie o příjmu ze snížení odsunutí zákazníků
• Příjem z geograficky orientované a cílené reklamy
• Integrovaný tabulkový přístup k výpočtu přibližného výdaje vs. příjmu/úspor ze implementace Big Data.

Den-5 : Seznam -2: Krok za krokem postup při nahrazování starých datových systémů Big Data Systémem:

• Pochopení praktického roadmapu migrace Big Data
• Co je důležité znát před architekturou implementace Big Data
• Různé způsoby výpočtu objemu, rychlosti, rozmanitosti a věrohodnosti dat
• Jak odhadnout růst dat
• Případové studie ve 2 telekomunikacích

Den-5: Seznam 3 & 4: Přehled výrobků Big Data a revize jejich produktů. Q/A sezení:

• AccentureAlcatel-Lucent
• Amazon –A9
• APTEAN (Bývalá CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• Huawei
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (Bývalá 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• VMware (Součást EMC)