【目標(biāo)收益】
隨著我國智能電網(wǎng)的發(fā)展，電力系統(tǒng)發(fā)、輸、變、配、用電各個(gè)環(huán)節(jié)的信息化進(jìn)程不斷推進(jìn)。在用電側(cè)，利用電力大數(shù)據(jù)分析可以了解產(chǎn)業(yè)結(jié)構(gòu)、經(jīng)濟(jì)走勢(shì)、房屋空置率、區(qū)域消費(fèi)能力等情況，從而可以更好地為經(jīng)濟(jì)服務(wù)。
伴隨著智能電網(wǎng)的全面建設(shè)，以物聯(lián)網(wǎng)和云計(jì)算為代表的信息通信技術(shù)在電力行業(yè)中的廣泛應(yīng)用，電力數(shù)據(jù)資源開始急劇增長并形成了一定的規(guī)模。電力與社會(huì)經(jīng)濟(jì)的發(fā)展密切相關(guān)，電力需求變化是經(jīng)濟(jì)運(yùn)行的“晴雨表”和“風(fēng)向標(biāo)”，能夠真實(shí)、客觀地反映國民經(jīng)濟(jì)的發(fā)展?fàn)顩r與態(tài)勢(shì)。因此，發(fā)展電力大數(shù)據(jù)是電力行業(yè)革新的必然過程。國家電網(wǎng)公司正在制定以云計(jì)算和大數(shù)據(jù)為技術(shù)支撐的信息系統(tǒng)方案，以提高國網(wǎng)公司信息系統(tǒng)的安全性、穩(wěn)定性、可用性，為公司決策、生產(chǎn)、運(yùn)營、管理提供更好的支撐平臺(tái)，助力公司發(fā)展方式的轉(zhuǎn)變。
【培訓(xùn)對(duì)象】
公司專兼職信息通信運(yùn)維及管理人員。
【培訓(xùn)時(shí)長】
培訓(xùn)共五天，具體時(shí)間為：2015年8月31日-9月4日
【課程大綱】
1．大數(shù)據(jù)（Hadoop）介紹，分布式文件系統(tǒng)應(yīng)用
2．MapReduce應(yīng)用及調(diào)優(yōu)
3．hadoop集群及管理
4．hadoop子項(xiàng)zookeeper、hbase、pig、hive、sqoop、rdbms應(yīng)用
5．大數(shù)據(jù)實(shí)戰(zhàn)
課程安排
|
日程 |
授課主題 |
課程安排 |
|
第 一 ~ 二 天 |
Hadoop入門，了解什么是hadoop |
Hadoop產(chǎn)生背景 Hadoop在大數(shù)據(jù)、云計(jì)算中的位置和關(guān)系 國內(nèi)外Hadoop應(yīng)用案例介紹 國內(nèi)Hadoop的就業(yè)情況分析及課程大綱介紹 分布式系統(tǒng)概述 Hadoop生態(tài)圈以及各組成部分的簡介 Hadoop核心MapReduce例子說明 |
|
分布式文件系統(tǒng)HDFS，是數(shù)據(jù)庫管理員的基礎(chǔ)課程 |
分布式文件系統(tǒng)DFS簡介 HDFS的系統(tǒng)組成介紹 HDFS的組成部分詳解 副本存放策略及路由規(guī)則 NameNode Federation 命令行接口 Java接口 客戶端與HDFS的數(shù)據(jù)流講解 HDFS的可用性（HA） |
|
|
初級(jí)MapReduce，成為Hadoop開發(fā)人員的基礎(chǔ)課程 |
如何理解map、reduce計(jì)算模型 剖析偽分布式下MapReduce作業(yè)的執(zhí)行過程 Yarn模型 序列化 MapReduce的類型與格式 MapReduce開發(fā)環(huán)境搭建 MapReduce應(yīng)用開發(fā) 更多示例講解，熟悉MapReduce算法原理 |
|
|
第 三 ~ 四 天 |
高級(jí)MapReduce，高級(jí)Hadoop開發(fā)人員的關(guān)鍵課程 |
使用壓縮分隔減少輸入規(guī)模 利用Combiner減少中間數(shù)據(jù) 編寫Partitioner優(yōu)化負(fù)載均衡 如何自定義排序規(guī)則 如何自定義分組規(guī)則 MapReduce優(yōu)化 編程實(shí)戰(zhàn) |
|
Hadoop集群與管理，是數(shù)據(jù)庫管理員的高級(jí)課程 |
Hadoop集群的搭建 Hadoop集群的監(jiān)控 Hadoop集群的管理 集群下運(yùn)行MapReduce程序 |
|
|
ZooKeeper基礎(chǔ)知識(shí)，構(gòu)建分布式系統(tǒng)的基礎(chǔ)框架 |
ZooKeeper體現(xiàn)結(jié)構(gòu) ZooKeeper集群的安裝 操作ZooKeeper |
|
|
HBase基礎(chǔ)知識(shí)，面向列的實(shí)時(shí)分布式數(shù)據(jù)庫 |
HBase定義、HBase與RDBMS的對(duì)比 數(shù)據(jù)模型、系統(tǒng)架構(gòu) HBase上的MapReduce、表的設(shè)計(jì) |
|
|
HBase集群及其管理 HBase客戶端 |
集群的搭建過程講解 集群的監(jiān)控 集群的管理 |
|
|
HBase Shell以及演示 Java客戶端以及代碼演示 |
||
|
第 五 天 |
Pig基礎(chǔ)知識(shí)，進(jìn)行hadoop計(jì)算的另一種框架 |
Pig概述 安裝Pig 使用Pig完成手機(jī)流量統(tǒng)計(jì)業(yè)務(wù) |
|
Hive，使用sql進(jìn)行計(jì)算的hadoop框架 |
數(shù)據(jù)倉庫基礎(chǔ)知識(shí) Hive定義、Hive體系結(jié)構(gòu)簡介、Hive集群 客戶端簡介 HiveQL定義、HiveQL與SQL的比較 數(shù)據(jù)類型 表與表分區(qū)概念、表的操作與CLI客戶端演示 數(shù)據(jù)導(dǎo)入與CLI客戶端演示、查詢數(shù)據(jù)與CLI客戶端演示 數(shù)據(jù)的連接與CLI客戶端演示、用戶自定義函數(shù)（UDF）的開發(fā)與演示 |
|
|
Sqoop，hadoop與rdbms進(jìn)行數(shù)據(jù)轉(zhuǎn)換的框架 |
配置Sqoop 使用Sqoop把數(shù)據(jù)從mysql導(dǎo)入到HDFS中 使用Sqoop把數(shù)據(jù)從HDFS導(dǎo)出到mysql中 |
|
|
結(jié)訓(xùn)考試 |
結(jié)訓(xùn)考試 |
