【課程大綱】
一、云計(jì)算背景
1、什么是大數(shù)據(jù)？
運(yùn)營商的數(shù)據(jù)滿足4V特征：與互聯(lián)網(wǎng)的對(duì)比
大數(shù)據(jù)對(duì)傳統(tǒng)架構(gòu)帶來的沖擊
各行業(yè)對(duì)大數(shù)據(jù)技術(shù)的共性需求，催生新技術(shù)
運(yùn)營商對(duì)大數(shù)據(jù)技術(shù)的需求
2、云計(jì)算主流技術(shù)總覽
二、云計(jì)算主流技術(shù)
1、HADOOP技術(shù)
主流技術(shù)1：Hadoop發(fā)展簡(jiǎn)史
主流技術(shù)1：Hadoop技術(shù)
主流技術(shù)1：Hadoop技術(shù)演進(jìn)
主流技術(shù)1：Hadoop技術(shù) - HDFS文件管理
主流技術(shù)1：Hadoop技術(shù) - MapReduce
主流技術(shù)1：Hadoop的生態(tài)圈
主流技術(shù)1：Hadoop產(chǎn)品
主流技術(shù)1：Hadoop的應(yīng)用場(chǎng)景
主流技術(shù)1：Hadoop在福建移動(dòng)的落地實(shí)施
2、SPARK技術(shù)
主流技術(shù)2：Spark發(fā)展歷程
主流技術(shù)2：Spark技術(shù)
主流技術(shù)2：Spark適用場(chǎng)景
主流技術(shù)2：Spark四川移動(dòng)應(yīng)用案例
3、MPP技術(shù)
主流技術(shù)3：MPP數(shù)據(jù)庫引出
主流技術(shù)3：MPP數(shù)據(jù)庫
主流技術(shù)3：MPP數(shù)據(jù)庫：橫向擴(kuò)展
主流技術(shù)3：MPP數(shù)據(jù)庫：并行執(zhí)行
主流技術(shù)3：MPP數(shù)據(jù)庫適用場(chǎng)景
4、流計(jì)算技術(shù)
主流技術(shù)4：流處理技術(shù)引出
主流技術(shù)4：流處理技術(shù)
主流技術(shù)4：流處理技術(shù)產(chǎn)品與應(yīng)用場(chǎng)景
主流技術(shù)4：流處理技術(shù)應(yīng)用場(chǎng)景
主流技術(shù)4：流處理技術(shù)山西移動(dòng)案例
5、NOSQL技術(shù)
主流技術(shù)5：NoSQL技術(shù)引出
主流技術(shù)5：NoSQL技術(shù)
主流技術(shù)5：NoSQL典型產(chǎn)品與應(yīng)用場(chǎng)景
主流技術(shù)5：NoSQL技術(shù)-浙江移動(dòng)HBase案例
6、內(nèi)存數(shù)據(jù)庫技術(shù)
主流技術(shù)6：內(nèi)存數(shù)據(jù)庫引出
主流技術(shù)6：內(nèi)存數(shù)據(jù)庫
主流技術(shù)6：內(nèi)存數(shù)據(jù)庫典型產(chǎn)品與應(yīng)用場(chǎng)景
主流技術(shù)6：內(nèi)存數(shù)據(jù)庫技術(shù)-福建移動(dòng)案例
7、數(shù)據(jù)采集技術(shù)
主流技術(shù)7：數(shù)據(jù)采集技術(shù)
主流技術(shù)7：數(shù)據(jù)采集主流技術(shù)-Flume、Kafka
主流技術(shù)7： Flume+Kafka應(yīng)用場(chǎng)景與案例
8、云計(jì)算技術(shù)如何落地？
如何選擇合適的云計(jì)算技術(shù)
云計(jì)算技術(shù)在某運(yùn)營商各省的落地情況匯總
三、Hadoop的關(guān)鍵技術(shù)-M/R原理
1、M/R原理
MRAppMaster原理及架構(gòu)
Yarn的產(chǎn)生
什么是Yarn
Yarn的架構(gòu)
2、資源分配
資源表示模型
資源分配模型
本地優(yōu)化
延遲調(diào)度
調(diào)度器比較
容量調(diào)度器的特點(diǎn)
? 容量調(diào)度器的任務(wù)選擇
容量調(diào)度器的優(yōu)缺點(diǎn)
隊(duì)列資源限制
用戶限制
任務(wù)限制
3、MR編程接口
4、MR編程實(shí)例
四、HADOOP關(guān)鍵技術(shù)-HDFS介紹
1、HDFS介紹
HDFS設(shè)計(jì)假設(shè)、目標(biāo)
HDFS系統(tǒng)架構(gòu)
HDFS 架構(gòu)關(guān)鍵設(shè)計(jì)要點(diǎn)
NameNode/DataNode主從模式
HDFS主從模式：數(shù)據(jù)讀取流程
HDFS主從模式：數(shù)據(jù)寫入流程
數(shù)據(jù)副本機(jī)制
元數(shù)據(jù)持久化
健壯機(jī)制
HDFS 架構(gòu)其他關(guān)鍵設(shè)計(jì)要點(diǎn)說明
HDFS HA架構(gòu)
HDFS HA架構(gòu)要點(diǎn)
HDFS 架構(gòu)全景圖
2、HDFS 架構(gòu)全景圖-(ZooKeeper)
HDFS參數(shù)配置介紹
HDFS服務(wù)配置參數(shù)類型說明
HDFS服務(wù)關(guān)鍵配置說明
NameNode關(guān)鍵配置說明
DataNode關(guān)鍵配置說明
3、HDFS應(yīng)用開發(fā)的幾個(gè)概念
開發(fā)環(huán)境準(zhǔn)備--HDFS應(yīng)用開發(fā)之Java API篇
典型代碼流程--HDFS應(yīng)用開發(fā)之Java API篇
初始化Filesystem--HDFS應(yīng)用開發(fā)之Java API篇
目錄操作--HDFS應(yīng)用開發(fā)之Java API篇
文件讀取--HDFS應(yīng)用開發(fā)之Java API篇
文件寫入/追加--HDFS應(yīng)用開發(fā)之Java API篇
SHELL編程流程--HDFS應(yīng)用開發(fā)之SHELL篇
Shell接口--HDFS應(yīng)用開發(fā)之SHELL篇
五、HADOOP關(guān)鍵技術(shù)-HIVE介紹
1、HIVE概述
什么是Hive
?
2、Hive的架構(gòu)
? Metastore
? Driver
? Compiler
3、Map/Reduce任務(wù)
? Optimizer – 優(yōu)化器，分為邏輯優(yōu)化器和物理優(yōu)化器，分別對(duì)
HiveQL
Execution Engine
ThriftServer
Clients
4、Hive與傳統(tǒng)數(shù)據(jù)庫的比較
Hive的優(yōu)點(diǎn)
5、HIVE應(yīng)用場(chǎng)景
應(yīng)用案例
任務(wù)執(zhí)行流程
六、HADOOP關(guān)鍵技術(shù)-HBASE
1、HBASE原理
數(shù)據(jù)分類與存儲(chǔ)
KeyValue存儲(chǔ)
KeyValue型數(shù)據(jù)庫數(shù)據(jù)分區(qū)方式-一致性Hash分區(qū)
KeyValue型數(shù)據(jù)庫數(shù)據(jù)分區(qū)方式-按Key值連續(xù)范圍分區(qū)
2、關(guān)于HBase
Region
Region與RegionServer
Region分類
Master
ZooKeeper
HDFS
3、HBASE數(shù)據(jù)模型
Create Table
KeyValue
HFile
4、HBASE寫流程
涉及的關(guān)鍵角色
客戶端發(fā)起寫數(shù)據(jù)請(qǐng)求
定位Region
數(shù)據(jù)分組
往RegionServer發(fā)送寫數(shù)據(jù)請(qǐng)求
Region寫數(shù)據(jù)流程
HBase LSM Tree
Flush
多HFile的影響
Compaction
Split
5、HBASE讀流程
Get Or Scan
OpenScanner
Next
Filter
BloomFilter
?
6、HBASE高級(jí)設(shè)計(jì)
RowKey設(shè)計(jì)
列族與列設(shè)計(jì)
Secondary Index-Why Secondary Index?
Secondary Index
Replication
Backup/Restore
BulkLoad
CTBase
7、HBase的接口
HBase Shell
插入一行數(shù)據(jù) — Put
讀取一行數(shù)據(jù) — Get
讀取多行數(shù)據(jù) — Scan
其它常用Shell API
七、云計(jì)算技術(shù)平臺(tái)落地
1、數(shù)據(jù)分析領(lǐng)域關(guān)鍵技術(shù)與業(yè)務(wù)場(chǎng)景的映射
大數(shù)據(jù)技術(shù)混搭的必要性
大數(shù)據(jù)技術(shù)混搭架構(gòu)
大數(shù)據(jù)平臺(tái)混搭架構(gòu)
大數(shù)據(jù)平臺(tái)混搭架構(gòu)思考
2、互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)混搭案例 – 百度大數(shù)據(jù)架構(gòu)
互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)混搭方案-阿里大數(shù)據(jù)服務(wù)平臺(tái)
互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)混搭案例 - ebay
3、業(yè)界大數(shù)據(jù)平臺(tái)混搭解決方案-華為FusionInsight
業(yè)界大數(shù)據(jù)平臺(tái)混搭產(chǎn)品方案-亞信大數(shù)據(jù)平臺(tái)
業(yè)界大數(shù)據(jù)平臺(tái)混搭解決方案-Teradata UDA
4、某電信運(yùn)營商大數(shù)據(jù)平臺(tái)建設(shè)-HDM混搭模式
某電信運(yùn)營商大數(shù)據(jù)平臺(tái)建設(shè)-混搭關(guān)鍵點(diǎn)
移動(dòng)混搭建設(shè)特點(diǎn)-元數(shù)據(jù)管理
移動(dòng)混搭建設(shè)特點(diǎn)-數(shù)據(jù)一致性管控
移動(dòng)混搭建設(shè)特點(diǎn)-數(shù)據(jù)質(zhì)量管理
移動(dòng)混搭建設(shè)特點(diǎn)-數(shù)據(jù)質(zhì)量管理
5、省公司混搭案例：
省公司混搭案例-SD移動(dòng)經(jīng)分混搭案例
省公司混搭案例-ZJ移動(dòng)大數(shù)據(jù)平臺(tái)混搭案例
省公司混搭案例-FJ移動(dòng)大數(shù)據(jù)平臺(tái)混搭案例
6、對(duì)外服務(wù)模式
對(duì)外服務(wù)-PaaS、SaaS、DaaS
對(duì)外服務(wù)-SaaS
對(duì)外服務(wù)-PaaS
對(duì)外服務(wù)-DaaS
數(shù)據(jù)對(duì)外服務(wù)的統(tǒng)一管控
1） 對(duì)外服務(wù)關(guān)鍵點(diǎn)-多租戶管理
2） 對(duì)外服務(wù)關(guān)鍵點(diǎn)-透明網(wǎng)關(guān)
3）對(duì)外服務(wù)關(guān)鍵點(diǎn)-安全管理
對(duì)外服務(wù)關(guān)鍵點(diǎn)-數(shù)據(jù)安全管理
對(duì)外服務(wù)關(guān)鍵點(diǎn)-數(shù)據(jù)安全管理方法
對(duì)外服務(wù)關(guān)鍵點(diǎn)-平臺(tái)安全管理
對(duì)外服務(wù)關(guān)鍵點(diǎn)-平臺(tái)安全管理框架
4）對(duì)外服務(wù)關(guān)鍵點(diǎn)-服務(wù)計(jì)量
7、對(duì)外服務(wù)案例
某電信運(yùn)營商具備大數(shù)據(jù)典型特點(diǎn)
某電信運(yùn)營商大數(shù)據(jù)平臺(tái)應(yīng)具備的技術(shù)支撐能力
某電信運(yùn)營商大數(shù)據(jù)平臺(tái)建設(shè)策略
某電信運(yùn)營商大數(shù)據(jù)平臺(tái)混搭架構(gòu)總結(jié)
大數(shù)據(jù)平臺(tái)建設(shè)與運(yùn)營人力資源投入分析
大數(shù)據(jù)平臺(tái)運(yùn)營團(tuán)隊(duì)建設(shè)
八、總結(jié)及展望
