【課程大綱】

1 背景

1.1 為什么是大數(shù)據(jù)？

1.1.1 互聯(lián)網(wǎng)導(dǎo)致海量數(shù)據(jù)

1.1.2 大數(shù)據(jù)的4V特征

1.1.3 大數(shù)據(jù)處理的技術(shù)特點(diǎn)和要求

1.2 大數(shù)據(jù)的引出原因

1.2.1 非結(jié)構(gòu)化數(shù)據(jù)的引出

1.2.2 數(shù)據(jù)處理性能的原因

1.2.3 數(shù)據(jù)處理成本原因

1.2.4 去IOE

1.2.5 互聯(lián)網(wǎng)企業(yè)的成功探索

實(shí)踐學(xué)科

理論滯后

核心技術(shù)的突破

1.3 傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)處理技術(shù)是否過(guò)時(shí)？

1.4 大數(shù)據(jù)有哪些關(guān)鍵技術(shù)

1.4.1 HADOOP

1.4.2 MPP

1.5 大數(shù)據(jù)的系統(tǒng)案例

1.5.1 BAT案例

1.5.2 電信行業(yè)案例

1.5.3 金融行業(yè)案例

1.5.4 其它行業(yè)案例

2 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)

2.1 原來(lái)的數(shù)據(jù)處理技術(shù)

2.2 數(shù)據(jù)倉(cāng)庫(kù)的概念

2.3 數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵技術(shù)

2.4 數(shù)據(jù)倉(cāng)庫(kù)的管理技術(shù)

2.5 數(shù)據(jù)倉(cāng)庫(kù)與大數(shù)據(jù)的關(guān)系

3 HADOOP等云計(jì)算技術(shù)

3.1 概述

3.1.1 云計(jì)算的“輪回”

3.1.2 云計(jì)算的生態(tài)圈

3.2 HADOOP技術(shù)

3.2.1 基本原理

3.2.2 YARN概念

3.3 SPARK技術(shù)

3.3.1 引出背景

3.3.2 技術(shù)內(nèi)容

3.3.3 應(yīng)用實(shí)例

3.4 MPP技術(shù)

3.4.1 引出背景

3.4.2 技術(shù)內(nèi)容

3.4.3 應(yīng)用實(shí)例

3.5 NOSQL數(shù)據(jù)庫(kù)

3.5.1 引出背景

3.5.2 技術(shù)內(nèi)容

3.5.3 應(yīng)用實(shí)例

3.6 流處理技術(shù)

3.6.1 引出背景

3.6.2 技術(shù)內(nèi)容

3.6.3 應(yīng)用實(shí)例

3.7 內(nèi)存數(shù)據(jù)庫(kù)

3.7.1 引出背景

3.7.2 技術(shù)內(nèi)容

3.7.3 應(yīng)用實(shí)例

3.8 實(shí)時(shí)采集技術(shù)

3.8.1 引出背景

3.8.2 技術(shù)內(nèi)容

3.8.3 應(yīng)用實(shí)例

3.9 容器技術(shù)

3.9.1 引出背景

3.9.2 技術(shù)內(nèi)容

3.9.3 應(yīng)用實(shí)例

3.10 PAAS/SAAS/IAAS

3.10.1 概念

3.10.2 技術(shù)內(nèi)容與區(qū)隔

3.10.3 應(yīng)用實(shí)例

4 數(shù)據(jù)管理技術(shù)

4.1 概述

4.1.1 數(shù)據(jù)管理原因

4.1.2 數(shù)據(jù)管理方法

4.1.3 實(shí)際經(jīng)驗(yàn)教訓(xùn)

4.2 元數(shù)據(jù)

4.2.1 技術(shù)元數(shù)據(jù)

4.2.2 業(yè)務(wù)元數(shù)據(jù)

4.2.3 管理元數(shù)據(jù)

4.3 數(shù)據(jù)質(zhì)量

4.3.1 數(shù)據(jù)質(zhì)量概述

4.3.2 數(shù)據(jù)質(zhì)量管理功能

4.3.3 如何進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控

4.4 數(shù)據(jù)安全

4.4.1 從網(wǎng)絡(luò)安全到數(shù)據(jù)安全

4.4.2 數(shù)據(jù)安全體系

4.4.3 數(shù)據(jù)安全關(guān)鍵技術(shù)

4.4.4 數(shù)據(jù)安全管理案例

4.5 數(shù)據(jù)資產(chǎn)管理

4.5.1 數(shù)據(jù)資產(chǎn)概念

4.5.2 數(shù)據(jù)資產(chǎn)管理架構(gòu)

4.5.3 數(shù)據(jù)資產(chǎn)管理關(guān)鍵點(diǎn)

4.6 案例

4.6.1 元數(shù)據(jù)案例

4.6.2 數(shù)據(jù)質(zhì)量應(yīng)用案例

4.6.3 數(shù)據(jù)資產(chǎn)管理案例

5 大數(shù)據(jù)系統(tǒng)建設(shè)實(shí)例

5.1 某電信企業(yè)大數(shù)據(jù)系統(tǒng)建設(shè)案例

5.1.1 建設(shè)背景

5.1.2 系統(tǒng)架構(gòu)實(shí)例

5.1.3 系統(tǒng)特點(diǎn)評(píng)估

5.2 某金融行業(yè)大數(shù)據(jù)系統(tǒng)建設(shè)案例

5.2.1 建設(shè)背景

5.2.2 系統(tǒng)架構(gòu)實(shí)例

5.2.3 系統(tǒng)特點(diǎn)評(píng)估

5.3 某互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)系統(tǒng)建設(shè)案例

5.3.1 建設(shè)背景

5.3.2 系統(tǒng)架構(gòu)實(shí)例

5.3.3 系統(tǒng)特點(diǎn)評(píng)估

6 大數(shù)據(jù)建設(shè)關(guān)鍵點(diǎn)

6.1 管理方面

6.1.1 人才積累問(wèn)題

6.1.2 成本的“內(nèi)升外降”

6.1.3 管理思維轉(zhuǎn)型

6.2 技術(shù)方面

6.2.1 技術(shù)儲(chǔ)備

6.2.2 重新回到“匯編時(shí)代”

6.2.3 數(shù)據(jù)可視化

6.3 業(yè)務(wù)方面

6.3.1 “業(yè)務(wù)驅(qū)動(dòng)”還是“技術(shù)驅(qū)動(dòng)”

6.3.2 業(yè)務(wù)切入點(diǎn)

6.3.3 如何讓業(yè)務(wù)人員“融入”進(jìn)來(lái)？

6.3.4 業(yè)務(wù)應(yīng)用的ROI評(píng)估

6.3.5 業(yè)務(wù)應(yīng)用的關(guān)鍵點(diǎn)

6.4 你的企業(yè)“玩得起”大數(shù)據(jù)嗎？

7 大數(shù)據(jù)之后的大分析

7.1 什么是大分析

7.1.1 背景和定義

7.1.2 大分析的熱潮

7.1.3 大分析的內(nèi)容

7.2 大分析的意義

7.2.1 大分析“無(wú)處不在”

7.2.2 構(gòu)筑“理性社會(huì)”

7.2.3 建立“大分析文化”

7.3 大分析的關(guān)鍵點(diǎn)

7.3.1 能否越過(guò)“工業(yè)文明”

7.3.2 大分析中的數(shù)據(jù)挖掘

7.3.3 大分析的切入點(diǎn)

7.3.4 大分析的“百花齊放百家爭(zhēng)鳴”

7.4 如何進(jìn)入大分析

7.4.1 企業(yè)內(nèi)部還是外部？

7.4.2 大分析的互聯(lián)網(wǎng)思維

7.4.3 關(guān)鍵難點(diǎn)

7.5 大分析的具體案例

7.5.1 客戶內(nèi)容標(biāo)簽分析

7.5.2 商圈的客戶構(gòu)成分析

8 總結(jié)

8.1 大數(shù)據(jù)技術(shù)關(guān)鍵點(diǎn)

8.2 大數(shù)據(jù)技術(shù)與應(yīng)用的關(guān)系

8.3 大數(shù)據(jù)技術(shù)選擇原則

8.4 跳出“技術(shù)決定論”