【課程大綱】

1 前言

1.1 大數(shù)據(jù)引出原因

1.1.1 “大數(shù)據(jù)，大商機(jī)”

大數(shù)據(jù)帶來(lái)的大商機(jī)

大商機(jī)帶來(lái)的“新淘寶”

更大的“資產(chǎn)革命”等著你

1.1.2 “數(shù)據(jù)資產(chǎn)”的引出

數(shù)據(jù)的價(jià)值，開(kāi)始超過(guò)固定資產(chǎn)

電信運(yùn)營(yíng)商從網(wǎng)絡(luò)運(yùn)營(yíng)轉(zhuǎn)型為大數(shù)據(jù)運(yùn)營(yíng)？

大數(shù)據(jù)帶來(lái)的思維變革

1.1.3 數(shù)據(jù)量龐大

互聯(lián)網(wǎng)的出現(xiàn)導(dǎo)致數(shù)據(jù)量龐大至PB級(jí)

移動(dòng)互聯(lián)網(wǎng)導(dǎo)致客戶信息的龐大

非結(jié)構(gòu)化數(shù)據(jù)海量出現(xiàn)，而且可以部分處理

1.1.4 數(shù)據(jù)結(jié)構(gòu)復(fù)雜

傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)占比降越來(lái)越低

非結(jié)構(gòu)化數(shù)據(jù)占比加大

混合結(jié)構(gòu)的數(shù)據(jù)趨于常態(tài)（結(jié)構(gòu)化+非結(jié)構(gòu)化數(shù)據(jù)）

1.1.5 數(shù)據(jù)價(jià)值有待挖掘

數(shù)據(jù)透視著客戶的一切

數(shù)據(jù)透視著產(chǎn)品的一切

數(shù)據(jù)透視著營(yíng)銷的一切

數(shù)據(jù)透視著企業(yè)的一切

如何避免“大數(shù)據(jù)、大忽悠”？

電信運(yùn)營(yíng)商掌控的數(shù)據(jù)，可以分析“一切”

1.1.6 “數(shù)據(jù)驅(qū)動(dòng)”的理念變革

“數(shù)據(jù)驅(qū)動(dòng)”的概念和背景

“數(shù)據(jù)驅(qū)動(dòng)”的技術(shù)支持

數(shù)據(jù)分析技術(shù)

數(shù)據(jù)挖掘技術(shù)

“數(shù)據(jù)驅(qū)動(dòng)”的意義

提供了“理性”分析的可能

提供了“理性”管理的可能

彌補(bǔ)工業(yè)革命的“量化”基礎(chǔ)

電信運(yùn)營(yíng)商可以的“華麗轉(zhuǎn)身”

進(jìn)行大數(shù)據(jù)進(jìn)行運(yùn)營(yíng)

構(gòu)建超過(guò)“淘寶”的電商平臺(tái)

1.1.7 互聯(lián)網(wǎng)發(fā)展中的“數(shù)聯(lián)網(wǎng)”？

互聯(lián)網(wǎng)是基礎(chǔ)平臺(tái)，數(shù)據(jù)是其上的流動(dòng)資產(chǎn)

溝通的是“數(shù)據(jù)”，帶來(lái)了巨大的商機(jī)

1.2 為何需要大分析？

1.2.1 數(shù)據(jù)價(jià)值評(píng)估

“垃圾”or“黃金”？

數(shù)據(jù)估值的方法

哪些數(shù)據(jù)留著？哪些數(shù)據(jù)扔掉？

1.2.2 “數(shù)據(jù)資產(chǎn)”變現(xiàn)問(wèn)題

變現(xiàn)的領(lǐng)域

變現(xiàn)的模式

變現(xiàn)的方法

數(shù)據(jù)的營(yíng)銷“廣告”

幫廠商找到客戶

幫用戶找到產(chǎn)品

1.2.3 “變現(xiàn)”的途徑

直接賣數(shù)據(jù)

賣數(shù)據(jù)“分析”——增值服務(wù)

賣行業(yè)分析報(bào)告

賣“諸葛亮”——專家咨詢

1.2.4 大分析的概念

為何是大分析？

海量數(shù)據(jù)帶來(lái)的分析“可能”

分析方法的革新

爬蟲(chóng)出的內(nèi)容

更多人參與算法研究

大分析的門檻降低

分析產(chǎn)品降低門檻

更多“屌絲”參與

解決了客戶需求

大分析困境

分析方法未有實(shí)質(zhì)變革

分析的理念急需變革

讓更多的專家參與到分析的第三產(chǎn)業(yè)中（生態(tài)環(huán)境）

大分析與傳統(tǒng)分析的差異

大分析的“大”

更大的寬度

更深的深度

更多的用戶

一個(gè)PAGERANK算法產(chǎn)生了谷歌

什么算法產(chǎn)生新的商務(wù)模式？

是否還抽樣？

大分析的群眾路線

大分析需要業(yè)務(wù)知識(shí)

從“陽(yáng)春白雪”到“下里巴人”

降低分析工具的門檻

借鑒互聯(lián)網(wǎng)思維的群眾參與

1.2.5 大分析的基礎(chǔ)

取數(shù)

自助取數(shù)

KPI

KPI展示和口徑解釋

KPI異常波動(dòng)分析

報(bào)表

二維報(bào)表

多維報(bào)表

統(tǒng)計(jì)

EXCEL

SQL編程

數(shù)據(jù)挖掘

挖掘算法

SPSS

SAS

實(shí)時(shí)分析

流處理

事件處理

1.2.6 大分析面臨的問(wèn)題

“數(shù)據(jù)為王”的理念

數(shù)據(jù)的業(yè)務(wù)解讀？

數(shù)據(jù)的管理體制

精細(xì)化管理

精細(xì)化營(yíng)銷

分析為王還是經(jīng)驗(yàn)為王？

數(shù)據(jù)能否包打天下？

兩者結(jié)合的“度”？

如何驗(yàn)證分析的價(jià)值？

效果評(píng)估的標(biāo)準(zhǔn)

閉環(huán)的最后一公里

1.3 大分析的應(yīng)用案例

1.3.1 新的“啤酒和尿布”

微信和終端關(guān)聯(lián)對(duì)比

“閱讀”周杰倫和“聽(tīng)”周杰倫

1.3.2 KPI信息地圖

GIS結(jié)合KPI

如何分解到個(gè)人/角色上

1.3.3 “大數(shù)據(jù)、超細(xì)分、微營(yíng)銷”

客戶細(xì)分之后的產(chǎn)品投放

手機(jī)報(bào)營(yíng)銷

從“精準(zhǔn)營(yíng)銷”到“微營(yíng)銷”

1.4 小結(jié)

2 大數(shù)據(jù)基礎(chǔ)

2.1 大數(shù)據(jù)的基本理念

2.1.1 概念和定義探索

2.1.2 數(shù)據(jù)資產(chǎn)管理提出

2.1.3 沒(méi)有大分析，大數(shù)據(jù)就是大垃圾

2.1.4 大數(shù)據(jù)如何借鑒“數(shù)據(jù)倉(cāng)庫(kù)”的經(jīng)驗(yàn)

HADOOP更像個(gè)大硬盤

復(fù)雜的計(jì)算如何實(shí)現(xiàn)?

2.1.5 企業(yè)級(jí)數(shù)據(jù)中心

內(nèi)部數(shù)據(jù)的匯總

內(nèi)部管理的基礎(chǔ)

對(duì)外服務(wù)的基礎(chǔ)

2.2 大數(shù)據(jù)與數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系

2.2.1 大數(shù)據(jù)闡述了數(shù)據(jù)的種類和量

2.2.2 大數(shù)據(jù)缺乏數(shù)據(jù)整理的經(jīng)驗(yàn)

2.2.3 數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)整理的有效積累

2.2.4 數(shù)據(jù)倉(cāng)庫(kù)等處理技術(shù)如何提升效率？

2.2.5 如何提高處理速度？

2.2.6 與DBMS的關(guān)系？

HADOOP上的開(kāi)源DB

MYSQL的集群化？

2.3 大數(shù)據(jù)的基本特點(diǎn)

2.3.1 4V特點(diǎn)

2.3.2 《大數(shù)據(jù)時(shí)代》的特點(diǎn)

2.3.3 大分析角度的大數(shù)據(jù)特征

數(shù)據(jù)可處理程度

結(jié)構(gòu)化數(shù)據(jù)

非結(jié)構(gòu)化數(shù)據(jù)

數(shù)據(jù)管理愈發(fā)復(fù)雜

升級(jí)到系統(tǒng)工程的難度

數(shù)據(jù)管理需要理論支撐

“爬蟲(chóng)”之后呢？

數(shù)據(jù)的新鮮度？

2.3.4 大數(shù)據(jù)的“變現(xiàn)”特征

數(shù)據(jù)價(jià)值密度

數(shù)據(jù)敏感度

2.4 大數(shù)據(jù)的價(jià)值和意義

2.4.1 大數(shù)據(jù)透露的客戶信息、產(chǎn)品信息、熱點(diǎn)內(nèi)容等

2.4.2 構(gòu)筑了“虛擬社區(qū)”的信息流圖，附著價(jià)值信息豐富

2.4.3 智慧城市、智能交通等應(yīng)用含義

量化管理的基礎(chǔ)

2.4.4 構(gòu)筑“理性社會(huì)”的基礎(chǔ)

降低資源消耗

提升安全管理能力等

2.4.5 中國(guó)前所未有的一次“彎道超車”機(jī)遇

2.5 大數(shù)據(jù)的問(wèn)題和挑戰(zhàn)

2.5.1 數(shù)據(jù)質(zhì)量問(wèn)題越發(fā)突出

2.5.2 數(shù)據(jù)分析技術(shù)尚缺實(shí)質(zhì)突破

2.5.3 大數(shù)據(jù)應(yīng)用水平需要逐步演進(jìn)、逐步深化

如何解決目前的兩張皮問(wèn)題？

如何讓大分析盡快見(jiàn)效？

2.5.4 大數(shù)據(jù)技術(shù)架構(gòu)的突破問(wèn)題

HADOOP僅是大硬盤？

分析處理技術(shù)急待突破

大數(shù)據(jù)的管理架構(gòu)還是白紙

大數(shù)據(jù)的“混搭”帶來(lái)問(wèn)題

多個(gè)豎井問(wèn)題重現(xiàn)

數(shù)據(jù)一致性如何保證？

“融合”的難題

大數(shù)據(jù)的實(shí)時(shí)處理瓶頸？

2.5.5 數(shù)據(jù)理念與國(guó)外仍然相距甚遠(yuǎn)

“鹽少許”與“鹽5克”的區(qū)別

數(shù)據(jù)分析的基礎(chǔ)差距

2.5.6 大數(shù)據(jù)是項(xiàng)系統(tǒng)工程

理念層面

管理層面

運(yùn)維層面

如何落地？

2.6 小結(jié)

3 大數(shù)據(jù)的管理

3.1 數(shù)據(jù)如何收集

3.1.1 能獲取哪些數(shù)據(jù)？

基礎(chǔ)數(shù)據(jù)

擴(kuò)展數(shù)據(jù)

外部數(shù)據(jù)

3.1.2 基于數(shù)據(jù)價(jià)值，決定數(shù)據(jù)的收集、存放和策略

3.1.3 沒(méi)有應(yīng)用時(shí)，數(shù)據(jù)是否收集？

3.2 數(shù)據(jù)的標(biāo)準(zhǔn)

3.2.1 數(shù)據(jù)接口

數(shù)據(jù)類型

數(shù)據(jù)結(jié)構(gòu)

非結(jié)構(gòu)化數(shù)據(jù)的處理

3.2.2 數(shù)據(jù)模型

數(shù)據(jù)的邏輯模型

數(shù)據(jù)的物理模型

文件級(jí)存儲(chǔ)

3.3 數(shù)據(jù)如何整理

3.3.1 數(shù)據(jù)的ETL過(guò)程

3.3.2 數(shù)據(jù)的質(zhì)量監(jiān)控

3.3.3 數(shù)據(jù)的分層處理架構(gòu)？

3.4 數(shù)據(jù)如何存儲(chǔ)

3.4.1 DBMS

3.4.2 HDFS

3.4.3 混搭模式

3.4.4 HBASE等

3.4.5 MPP

3.5 數(shù)據(jù)如何估值

3.5.1 什么數(shù)據(jù)好賣？

3.5.2 市場(chǎng)價(jià)格？

3.6 數(shù)據(jù)如何計(jì)費(fèi)？

3.6.1 “資產(chǎn)”的計(jì)價(jià)基礎(chǔ)

3.6.2 劃分單位？

3.7 大數(shù)據(jù)數(shù)據(jù)質(zhì)量管控

3.7.1 占數(shù)據(jù)倉(cāng)庫(kù)70%的工作量

3.7.2 大數(shù)據(jù)環(huán)境下數(shù)據(jù)質(zhì)量的評(píng)估？

3.8 數(shù)據(jù)如何保障安全？

3.8.1 數(shù)據(jù)的隱私問(wèn)題

3.8.2 網(wǎng)絡(luò)層安全

3.8.3 應(yīng)用層安全

3.8.4 分層級(jí)界定數(shù)據(jù)安全等級(jí)

3.9 大數(shù)據(jù)的管理

3.9.1 大數(shù)據(jù)帶來(lái)的思維變革

數(shù)據(jù)蓋過(guò)經(jīng)驗(yàn)？

挖掘出未有的知識(shí)

3.9.2 大數(shù)據(jù)的管理架構(gòu)

管理機(jī)構(gòu)

管理職責(zé)

企業(yè)級(jí)數(shù)據(jù)中心的管理布局

3.9.3 如何構(gòu)建大分析的團(tuán)隊(duì)？

系統(tǒng)集成商

數(shù)據(jù)分析師

業(yè)務(wù)人員

3.9.4 數(shù)據(jù)質(zhì)量的管控

3.10 大數(shù)據(jù)的“商業(yè)變革”

3.10.1 一切皆可量化

3.10.2 數(shù)據(jù)驅(qū)動(dòng)變革

4 大數(shù)據(jù)的技術(shù)架構(gòu)

4.1 大數(shù)據(jù)處理架構(gòu)

4.1.1 大數(shù)據(jù)處理層級(jí)和域

4.1.2 哪些計(jì)算適合并行？

4.2 為何是混搭架構(gòu)？

4.2.1 大數(shù)據(jù)混搭架構(gòu)的利弊分析

4.2.2 架構(gòu)是否去IOE？

4.2.3 數(shù)據(jù)的分布和處理流程

4.3 數(shù)據(jù)集市的模式

4.3.1 數(shù)據(jù)沙盤模式？

4.3.2 貼近角色的平臺(tái)及應(yīng)用

4.3.3 文件集市？

4.4 數(shù)據(jù)管控模塊

4.4.1 元數(shù)據(jù)

4.4.2 數(shù)據(jù)質(zhì)量

4.4.3 數(shù)據(jù)安全

4.5 ETL處理過(guò)程

4.5.1 DW的ETL處理過(guò)程

4.5.2 HADOOP的ETL過(guò)程

4.6 應(yīng)用平臺(tái)和框架

4.6.1 開(kāi)放模式

OPEN API