Big Data Business Intelligence for Telecom and Communication Service Providers

• 應具備其領域內 Telecom 的業務運營和數據系統的基本知識
• 必須對 SQL/Oracle 或關係資料庫有基本的瞭解
• 對統計學有基本的瞭解（在Excel級別中）

概述

服务提供商(CSP)面临压力,以降低成本,最大限度地提高用户平均收入(ARPU),同时确保优秀的客户体验,但数据量仍在增长。 到2016年,全球移动数据流量将以78%的合并年增长率(CAGR)增长,每月达到10.8 exabytes。

与此同时,CSP正在产生大量的数据,包括呼叫细节记录(CDR),网络数据和客户数据。 充分利用这些数据的公司获得了竞争优势。 根据The Economist Intelligence Unit最近的一项调查,使用数据导向决策的公司享有5至6%的生产力增长。 然而,53%的公司只利用其有价值的数据的一半,其中四分之一的受访者指出,大量有用的数据正在失去。 数据量如此高,以至于手动分析是不可能的,而大多数遗产软件系统无法保持,导致有价值的数据被忽略或忽略。

使用高速可扩展的大数据软件,CSP 可以在更短的时间内挖掘所有数据,以便在更短的时间内做出更好的决策。 不同 Big Data 产品和技术提供一个终端软件平台,以收集,准备,分析和展示来自大数据的洞察力。 应用领域包括网络性能监测、欺诈检测、客户端检测和信用风险分析。 Big Data 分析产品规模处理数据的特拉比特,但这些工具的实施需要新的类型的基于云的数据库系统,如(3)或大规模平行计算处理器(KPU等)。

该课程工作在 Big Data BI for Telco 覆盖了所有新兴的领域,在这些领域,CSP 正在投资,以提高生产力,并打开新的业务收入流。 该课程将提供一个完整的360学位的视图 Big Data BI在Telco,以便决策者和管理人员可以有一个非常广泛和全面的概述的可能性 Big Data BI在Telco的生产力和收入收益。

课程目标

该课程的主要目标是引入4个领域的新(0)商业智能技术(9)(Marketing/销售、网络运营、金融运营和客户关系(4))。 学生将被介绍为如下:

• 引入 Big Data - 什么是 4Vs (容量,速度,多样性和可靠性) 在 Big Data - 从 Telco 视角的发行,提取和管理
• 如何分析与遗产数据分析不同
• 内部正当化 Big Data -Telco 视角
• 引入 Hadoop 生态系统 - 熟悉所有 Hadoop 工具,如 Hive, 猪, SPARC –什么时候和如何使用它们来解决 Big Data 问题
• 如何 Big Data 被提取到分析分析工具 - 如何 Business Analysis’s 可以通过集成 Hadoop 板块方法来减少数据收集和分析的疼痛点
• 基础介绍 Insight 分析、视觉分析和预测分析为 Telco
• 客户评估分析和如何评估分析可以在Telco案例研究中减少客户评估和客户不满
• 网络故障和服务故障分析来自网络 meta 数据和 IPDR
• 财务分析 - 欺诈、欺诈和从销售和运营数据中获得的ROI估计
• 客户收购问题 - 目标营销,客户分区和从销售数据中交叉销售
• 介绍和概述所有 Big Data 分析产品以及它们适合在 Telco 分析空间的位置
• 结论 - 如何采取一步一步的方法来引入 Big Data Business Intelligence 在您的组织

目标观众

• 网络运营,财务经理,CRM经理和Telco CIO办公室的顶级IT经理。
• Business 分析师在 Telco
• CFO办公室经理/分析师
• 运营经理
• QA管理员

每日主題細分：（每節課2小時）

第 1 天：第 1 節：電信業為何使用大數據的業務概述 Business Intelligence。

• 來自 T-Mobile、Verizon 等的案例研究。
• 北美電信公司的大數據適應率，以及他們如何圍繞大數據BI調整未來的業務模式和運營
• 廣泛的應用領域
• 網路和服務管理
• 客戶流失 Management
• 數據集成和儀錶板可視化
• 欺詐管理
• 業務規則生成
• 客戶畫像
• 當地語系化廣告推送

第一天：第二節：Big Data-1介紹

• 大數據的主要特徵——數量、種類、速度和準確性。卷的 MPP 體系結構。
• 數據倉庫 – 靜態模式，緩慢演變的數據集
• MPP 資料庫，如 Greenplum、Exadata、Teradata、Netezza、Vertica 等。
• 基於Hadoop的解決方案 – 對數據集的結構沒有條件。
• 典型模式：HDFS、MapReduce（crunch）、從 HDFS 檢索
• 批處理 - 適用於分析/非互動式
• 卷 ： CEP 流數據
• 典型選擇 – CEP 產品（例如 Infostreams、Apama、MarkLogic 等）
• 生產準備不足 – Storm/S4
• NoSQL 資料庫 – （列式和鍵值）：最適合作為數據倉庫/資料庫的分析輔助工具

第 1 天：第 -3 節：Big Data-2 簡介

否SQL解決方案

• KV Store - Keyspace、Flare、SchemaFree、RAMCloud、Oracle NoSQL 資料庫 （OnDB）
• KV 商店 - Dynamo、Voldemort、Dynomite、SubRecord、Mo8onDb、DovetailDB
• KV 儲存（分層）- GT.m、快取
• KV Store（已訂購）- TokyoTyrant、Lightcloud、NMDB、Luxio、MemcacheDB、Actord
• KV 快取 - Memcached、Repcached、Coherence、Infinispan、EXtremeScale、JBossCache、Velocity、Terracoqua
• 元組存儲 - Gigaspaces、Coord、Apache River
• 對象資料庫 - ZopeDB、DB40、Shoal
• 文檔存儲 - CouchDB、Cloudant、Couchbase、MongoDB、Jackrabbit、XML-Databases、ThruDB、CloudKit、Prsevere、Riak-Basho、Scalaris
• 廣泛的列式存儲 - BigTable、HBase、Apache Cassandra、Hypertable、KAI、OpenNeptune、Qbase、KDI

數據的種類：大數據中的Data Cleaning問題簡介

• RDBMS – 靜態結構/模式，不提倡敏捷、探索性環境。
• NoSQL – 半結構化的，足夠的結構來存儲數據，在存儲數據之前沒有精確的模式
• 數據清理問題

第一天：第四節：大數據介紹-3：Hadoop

• 何時選擇 Hadoop？
• 結構化 - 企業數據倉庫/資料庫可以存儲大量數據（有成本），但會強加結構（不利於主動探索）
• SEMI 結構化數據 – 傳統解決方案 （DW/DB） 難以實現
• 倉儲數據 = 即使在實施后也付出了巨大的努力和靜態
• 對於各種數據和數據量，在商用硬體上處理 – HADOOP
• 創建 Hadoop 集群所需的商品硬體

Map Reduce /HDFS 簡介

• MapReduce – 將計算分佈在多個伺服器上
• HDFS – 使資料在本地可用於計算過程（具有冗餘）
• 資料 – 可以是非結構化的/無模式的（與 RDBMS 不同）
• 開發人員有責任理解數據
• Programming MapReduce = 使用 Java（優點/缺點），手動將數據載入到 HDFS 中

第 2 天：工作階段 1.1：Spark：記憶體中分散式資料庫

• 什麼是「記憶體中」處理？
• 火花 SQL
• Spark SDK
• Spark API
• RDD型
• Spark 庫
• 漢娜
• 如何將現有Hadoop系統遷移到Spark

第 2 天工作階段 -1.2：Storm - Big Data 中的實時處理

• 流
• 豆芽
• 螺栓
• 拓撲

第2天：第二節：大數據Management系統

• 移動部件、計算節點啟動/失敗：ZooKeeper - 用於配置/協調/命名服務
• 複雜的流水線/工作流：Oozie – 管理工作流、依賴項、菊花鏈
• 部署、配置、群集管理、升級等（系統管理員）：Ambari
• 在雲中：呼嘯
• 不斷發展的 Big Data 跟蹤平臺工具
• ETL 層應用程式問題

第 2 天：第 3 節：Business Intelligence -1 中的預測分析：基礎技術和基於機器學習的 BI：

• 機器學習簡介
• 學習分類技術
• 貝葉斯預測準備訓練檔
• 瑪律可夫隨機場
• 監督學習和無監督學習
• 特徵提取
• 支援向量機
• 神經網路
• 強化學習
• Big Data 大變數問題 -隨機森林 （RF）
• 表徵學習
• 深度學習
• Big Data 自動化問題 – 多模型集成射頻
• 通過Soft10-M實現自動化
• LDA 和主題建模
• 敏捷學習
• 基於智慧體的學習 - 電信運營示例
• 分散式學習——以電信運營為例
• 用於預測分析的開源工具簡介：R、Rapidminer、Mahut
• 更具可擴展性的 Analytic-Apache Hama、Spark 和 CMU Graph 實驗室

第2天：第4節預測分析生態系統2：Telecom中常見的預測分析問題

• 洞察分析
• 可視化分析
• 結構化預測分析
• 非結構化預測分析
• 客戶畫像
• 推薦引擎
• 模式檢測
• 規則/場景發現 - 失敗、欺詐、優化
• 發現根本原因
• 情緒分析
• CRM分析
• 網路分析
• 文本分析
• 技術輔助審查
• 欺詐分析
• 即時分析

第3天：第1天：網路運營分析——網路故障的根本原因分析、元數據服務中斷、IPDR和CRM：

• CPU 使用率
• 記憶體使用方式
• QoS 佇列使用方式
• 設備溫度
• 介面錯誤
• IoS 版本
• 路由事件
• 延遲變化
• Syslog 分析
• 丟包
• 負載類比
• 拓撲推理
• 性能閾值
• 設備陷阱
• IPDR（IP詳細記錄）收集和處理
• 將IPDR數據用於使用者頻寬消耗、網路介面利用率、數據機狀態和診斷
• HFC資訊

第3天：第2節：網路服務故障分析工具：

• 網路摘要儀錶板：監控整體網路部署並跟蹤組織的關鍵績效指標
• 高峰期分析儀錶板：了解推動高峰利用率的應用程式和用戶趨勢，並具有特定於位置的粒度
• 路由效率儀錶板：通過全面瞭解互連和傳輸關係，控制網路成本併為資本專案構建業務案例
• 即時娛樂儀錶板：訪問重要指標，包括視頻觀看次數、持續時間和視頻體驗品質 （QoE）
• IPv6 過渡儀錶板：調查 IPv6 在您的網路上的持續採用情況，並深入瞭解推動趨勢的應用程式和設備
• 案例研究1：阿爾卡特朗訊大網路分析（BNA）數據挖掘器
• 多維移動智慧（m.IQ6）

第 3 天：第 3 節：Marketing/Sales 的大數據 BI – 從銷售數據中了解銷售/行銷：（所有這些都將通過實時預測分析演示展示）

• 識別速度最快的用戶端
• 標識給定產品的用戶端
• 為客戶確定正確的產品集（推薦引擎）
• 市場市場區隔分技術
• 交叉銷售和追加銷售技術
• 客戶細分技術
• 銷售收入預測技術

第3天：第4節：電信首席財務官辦公室需要BI：

• CFO 辦公室所需的 Business 分析工作概述
• 新投資風險分析
• 收入、利潤預測
• 新客戶獲取預測
• 損失預測
• 財務欺詐分析（下節詳述）

第 4 天：第 1 節：電信欺詐分析中 Big Data 的欺詐預防 BI：

• 帶寬洩漏/頻寬欺詐
• 供應商欺詐/項目多收費用
• 客戶退款/索賠欺詐
• 差旅報銷欺詐

第4天：第2節：從流失預測到流失預防：

• 3 種流失類型：主動/故意、輪換/偶然、被動、非自願
• 流失客戶的3種分類：總計、隱藏、部分
• 了解客戶流失的CRM變數
• 客戶行為數據收集
• 客戶感知數據收集
• 客戶人口統計數據收集
• 清理CRM數據
• 非結構化CRM數據（客戶電話、工單、電子郵件）及其轉換為結構化數據以進行客戶流失分析
• Social Media CRM-提取客戶滿意度指數的新方法
• 案例研究 1 ： T-Mobile USA：客戶流失率降低 50%

第4天：第3節：如何使用預測分析進行客戶不滿意的根本原因分析：

• 案例研究 -1 ： 將不滿意與問題聯繫起來 – 會計、工程故障，如服務中斷、帶寬服務差
• 案例研究-2：Big Data QA 儀錶板，用於跟蹤來自各種參數的客戶滿意度指數，例如呼叫升級、問題的嚴重性、待處理的服務中斷事件等。

第 4 天：第 4 節：Big Data 用於快速存取各種資料和顯示的儀錶板：

• 現有應用平臺與大數據儀錶盤的整合
• 大數據管理
• 大數據儀錶板案例研究：Tableau 和 Pentaho
• 使用大數據應用程式推送基於位置的廣告
• 跟蹤系統和管理

第 5 天：第 1 節：如何證明 Big Data BI 在組織內實施的合理性：

• 定義 Big Data 實施的 ROI
• 節省分析師收集和準備數據時間的案例研究 - 提高生產力
• 客戶流失帶來的收入增長案例研究
• 基於位置的廣告和其他定向廣告的收入收益
• 一種集成的電子錶格方法，用於計算 Big Data 實施的近似費用與收入收益/節省。

第 5 天：第 2 節：將遺留數據系統替換為 Big Data 系統的分步過程：

• 了解實用 Big Data 遷移路線圖
• 在構建 Big Data 實現之前需要哪些重要資訊
• 計算數據量、速度、多樣性和準確性的不同方法有哪些
• 如何估算數據增長
• 2 家電信公司的案例研究

第 5 天：第 3 節和第 4 節：審查 Big Data 供應商並審查他們的產品。問答環節：

• 埃森哲阿爾卡特朗訊
• 亞馬遜–A9
• APTEAN（前身為 CDC Software）
• 思科系統
• 克勞德拉
• 山谷
• 電磁相容
• GoodData公司
• 番石榴
• 日立數據系統
• 霍頓工廠
• 華為
• 惠普
• IBM公司
• 資訊網
• 英特爾
• Jaspersoft的
• Microsoft
• MongoDB（以前稱為 10Gen）
• MU西格瑪
• NetApp 的
• Opera 解決方案
• 神諭
• 貝爾塔霍
• 普拉特福拉
• Qliktech的
• 量子
• 機架空間
• 革命分析
• Salesforce的
• 樹液
• SAS學院
• 西森
• 軟體 AG/Terracotta
• Soft10 自動化
• Splunk的
• 平方
• Supermicro 超微
• Tableau 軟體
• Teradata的
• 大分析思維
• 潮汐系統
• VMware （EMC 的一部分）