課程目標

課程內(nèi)容

課時

? 了解hadoop的背景

? 學(xué)習(xí)hadoop關(guān)鍵技術(shù)

? 學(xué)習(xí)實施hadoop的一些建議

? 學(xué)習(xí)hadoop的技術(shù)案例

? 學(xué)習(xí)SPARK

Hadoop  的背景

1.1  大數(shù)據(jù)的金融時代

1.1.1  “顛覆”性的影響

1.1.2  重新“洗牌”的可能

1.2  為什么是 HADOOP ？

1.3 HADOOP  的生態(tài)環(huán)境概述

1.4 HADOOP  在銀行業(yè)應(yīng)用案例

1.4.1  阿里金融

1.4.2  銀行業(yè)案例

1.5 HADOOP  與數(shù)據(jù)倉庫等關(guān)系

1.6 去 IOE  的重任

1.7  金融業(yè)為何要選擇 HADOOP ？

1.7.1  海量的大數(shù)據(jù)處理壓力

1.7.2  非結(jié)構(gòu)化數(shù)據(jù)的壓力

1.7.3  互聯(lián)網(wǎng)數(shù)據(jù)多源化的處理壓力

12小時

HADOOP  在互聯(lián)網(wǎng)業(yè)界及銀行業(yè)案例分享

2.1 EBAY  混搭大數(shù)據(jù)案例

2.2  阿里云開放大數(shù)據(jù)案例

2.3  騰訊分布式大數(shù)據(jù)案例

2.4  百度大數(shù)據(jù)引擎案例

2.5 客戶征信服務(wù) 客戶征信服務(wù) ——從 從 FICO 到 到 ZEST

2.6  某銀行的大數(shù)據(jù)實際案例

HADOOP  技術(shù)介紹

3.1  發(fā)展歷史

3.1.1 google  的影響

3.1.2  命名來源

3.2 HDFS  原理

3.2.1  適合做什么？

3.2.2  不適合做什么？

3.2.3 namenode 和 和 datanode

3.3 HA  方法

3.3.1  基本原理

3.3.2 HADOOP 2.0 的 的 HA  實現(xiàn)方法

3.4 MAP/REDUCE  原理

3.5 YARN  原理

3.5.1 2.0  引出的原因

3.5.2  與容器（docker ）的關(guān)系

3.6 HIVE 和 HBASE

3.6.1  如何改善客戶易用性？

3.6.2  內(nèi)容和區(qū)別

3.7 HADOOP  的難點

3.7.1  安全性

3.7.2  可操作性

3.7.3  運維難題

3.8 MR  的具體編程案例

3.8.1 “hello world”

3.8.2 API  介紹及編程

3.8.3  案例及高級編程

適用人群

HADOOP  實施的具體一些建議

4.1  版本的選擇

4.2  硬件配置建議

4.3  規(guī)模估算

4.4  系統(tǒng)調(diào)優(yōu)

4.5  參數(shù)設(shè)置建議

4.6  在金融業(yè)部署策略實施建議

大數(shù)據(jù)相關(guān)管理及技術(shù)人員

HADOOP  自身技術(shù)的優(yōu)化及案例

5.1 HADOOP  的平臺調(diào)度優(yōu)化及案例

5.2 HADOOP  平臺加密預(yù)處理

5.3  基于 HADOOP  的自助分析工具

5.4 HADOOP  平臺的高效加載探索

5.5 HADOOP  穩(wěn)定性加固探索及案例

HADOOP  的實用案例

6.1 HADOOP  應(yīng)用在“云化 ETL ”角度

6.1.1  提升數(shù)據(jù)加載速度

6.1.2  關(guān)鍵點

6.2  基于 HADOOP  的數(shù)據(jù)挖掘案例

6.2.1  基于“爬蟲”的內(nèi)容喜好分析

6.2.2  客戶細分案例

6.3  基于 HADOOP  的海量數(shù)據(jù)查詢案例

6.3.1  基于 HBASE  的查詢案例

6.4 HADOOP  在銀行應(yīng)用的場景

6.4.1 ETL  過程加速

6.4.2  海量數(shù)據(jù)查詢

6.4.3  客戶挖掘分析

6.4.4  風(fēng)險識別

6.5 HADOOP  應(yīng)用面臨的問題

6.5.1  “內(nèi)升外降”的問題

6.5.2  公司 IT  體制的改革

6.5.3  “穩(wěn)定性”問題

SPARK

7.1  背景

7.1.1 對 HADOOP  的改良

7.1.2 SPARK  的生態(tài)環(huán)境

7.2 SPARK  的實施建議

7.2.1  集群部署模式

7.2.2  版本選擇

7.2.3  硬件配置建議

7.2.4  混搭建議

7.2.5  參數(shù)配置建議

7.2.6 SPARK  做金融業(yè)的應(yīng)用場景

7.3  某公司 SPARK （500  節(jié)點）部署實際案例

7.3.1  建設(shè)歷程

7.3.2  技術(shù)要點

計算引擎的高性能

如何實現(xiàn)多種異構(gòu)環(huán)境透明訪問

7.3.3  技術(shù)引入策略建議

7.3.4  運維建設(shè)經(jīng)驗

總結(jié)

8.1  大數(shù)據(jù)對金融傳統(tǒng) IT  的顛覆

8.2 HADOOP  技術(shù)的總結(jié)

8.3 SPARK  技術(shù)總結(jié)

課時合計

12小時