時間 |
課程模塊 |
課程內容 |
第一部份
【1】 |
|
1.?大數據的產生背景、發展歷程
2.?大數據和云計算的關系
3.?大數據應用需求以及潛在價值分析
4.?業界新的大數據技術發展態勢與應用趨勢
5.?大數據項目的技術選型與架構設計
6.?“互聯網+”時代下的電子商務、制造業、零售批發業、電信運營商、互聯網金融業、網上銀行、電子政務、移動互聯網、教育信息化等行業應用實踐與應用案例剖析 |
業界主流的大數據技術產品與項目解決方案 |
1.?國內外主流的大數據解決方案介紹
2.?當前大數據解決方案與傳統數據庫方案的剖析比較
3.?Apache大數據平臺方案剖析
4.?CDH大數據平臺方案剖析
5.?HDP大數據平臺方案剖析
6.?開源的大數據生態系統平臺剖析 |
Hadoop大數據平臺剖析 |
1.?Hadoop的發展歷程以及產業界的實際應用介紹
2.?Hadoop大數據平臺架構
3.?基于Hadoop平臺的PB級大數據存儲管理與分析處理的工作原理與機制
4.?Hadoop的核心組件剖析 |
第一部份
【2】 |
大數據分布式存儲系統原理及其應用實踐 |
1.?分布式文件系統HDFS的簡介
2.?HDFS系統的主從式平臺架構和工作原理
3.?HDFS核心組件技術講解
4.?基于HDFS的大型存儲系統應用開發實戰
5.?HDFS集群的安裝、部署、配置與性能優化實踐
6.?HDFS與Linux NFS3交互技術以及本地化部署應用實踐
7.?分布式鍵值存儲系統的平臺架構、核心技術以及應用開發
8.?PB級大數據存儲項目的案例分析 |
大數據MapReduce與Yarn并行處理平臺 |
1.?MapReduce并行計算模型
2.?MapReduce作業執行與調度技術
3.?第二代大數據計算框架Yarn的工作原理以及DAG并行執行機制
4.?MapReduce應用開發環境的部署，以及大數據并行處理應用程序開發
5.?MapReduce高級編程技巧與性能優化實踐
6.?MapReduce與Yarn大數據分析處理案例分析 |
Hadoop應用實踐操作訓練 |
1.?部署與配置HDFS，熟練操作HDFS SHELL，HDFS與NFS操作，以及HDFS API開發實踐
2.?部署與配置MapReduce與Yarn及其開發實踐
3.?Hadoop的Linux二次開發環境部署與配置 |
第二部份
【1】 |
HBase分布式數據庫管理系統 |
1.?NoSQL數據庫與NewSQL數據庫技術介紹，及其在半結構化和非結構化大數據方面的應用實踐
2.?HBase分布式數據庫簡介、數據模型以及工作原理
3.?HBase分布式數據庫集群的平臺架構和關鍵技術剖析
4.?HBase應用項目開發技巧，以及客戶端開發實戰
5.?HBase表設計與數據操作以及數據庫管理API調用
6.?HBase集群的安裝部署與配置優化
7.?ZooKeeper分布式協調服務系統的工作原理、平臺架構、集群部署與配置應用實戰
8.?HBase集群的運維與監控管理 |
HBase半結構化數據管理應用實踐操作訓練 |
1.?部署與配置HBase集群以及HBase的性能優化
2.?部署與配置ZooKeeper分布式集群
3.?構建HBase開發環境
4.?HBase數據庫操作及項目實踐 |
第二部份
【2】 |
Hive大型數據倉庫集群平臺及其應用實踐 |
1.?基于Hadoop的大型分布式數據倉庫基礎知識，HIVE在行業中的數據倉庫應用案例
2.?Hive大數據倉庫簡介以及應用介紹
3.?Hive數據倉庫集群的平臺體系結構、核心技術剖析
4.?Hive Server的工作原理、機制與應用
5.?Hive數據倉庫集群的安裝部署與配置優化
6.?Hive應用開發技巧
7.?Hive SQL剖析與應用實踐
8.?Hive數據倉庫表與表分區、表操作、數據導入導出、客戶端操作技巧
9.?Hive數據倉庫報表設計
10、Hive JDBC與ODBC的工作原理與實現機制
11、Hive HWI、CLI客戶端操作以及UDF應用實踐 |
Mahout大數據分析挖掘平臺及其應用實踐 |
1.?Mahout集群的安裝部署與配置優化
2.?Mahout實現客戶分析，廣告分析，日志分析，規律預測，關聯分析，定向推薦等應用程序的開發與應用實戰
3.?Mahout性能優化與分析挖掘算法參數的優化技巧 |
Hive數據倉庫與Mahout數據挖掘平臺的應用實踐操作訓練 |
1.?部署與配置HIVE集群，以及HIVE性能調優
2.?構建HIVE開發環境
3.?HIVE數據倉庫操作及項目實踐
4.?實現Mahout與Hadoop HBase的應用集成，實現日志數據分析挖掘項目的應用實踐 |
第三部份
【1】 |
Spark大數據實時處理平臺剖析 |
1.?Spark的發展歷程以及業界的實際應用介紹
2.?Spark實時大數據處理平臺架構
3.?Spark RDD內存彈性分布式數據集的工作原理與機制
4.?Spark的核心組件剖析
5.?基于Spark的實時數據倉庫與實時分析挖掘處理在行業中的應用實踐案例 |
基于Spark的實時數據倉庫和實時數據分析挖掘處理平臺的實現機制，以及SparkSQL，Spark Streaming，MLib，GraphX，SparkR的應用實踐 |
1.?內存計算模型和實時處理技術介紹
2.?Spark中各個分布式組件的處理框架及工作原理
3.?Spark SQL實時數據倉庫的實現原理機制及應用實踐
4.?Spark Streaming流式數據實時處理機制及應用實踐
5.?Spark MLib實時機器學習算法應用實踐與案例應用
6.?Spark GraphX實時圖數據處理應用實踐與社交網絡分析應用案例
7.?SparkR的實現原理與應用實踐
8.?Spark組件的應用編程開發實戰
9.?Spark與Hadoop的集成解決方案實踐 |
Spark平臺與各個組件的實踐操作訓練 |
1.?部署與配置Spark集群，以及Spark性能調優
2.?構建Spark開發環境
3.?Spark程序運行以及操作
4.?Spark SQL應用操作實訓
5.?Spark Streaming應用操作實訓
6.?Spark MLib應用操作實訓
7.?Spark GraphX應用操作實訓
8.?SparkR應用操作實訓
9.?Spark與HBase集成數據分析實驗實訓 |
第三部份
【2】 |
Storm流式數據處理平臺架構及其應用實踐 |
1.?Storm流式處理系統的平臺架構和工作原理
2.?Storm關鍵技術剖析
3.?Storm集群安裝部署與配置優化
4.?Storm日志流數據分析項目應用實戰
5.?Storm和Hadoop，Spark的應用集成項目實踐 |
大數據智能化ETL操作工具以及Hadoop集群運維監控工具平臺應用 |
1.?Hadoop與DBMS之間數據交互工具的應用
2.?Sqoop導入導出數據的工作原理，以及Sqoop集群安裝部署與配置
3.?Kettle集群的平臺架構、核心技術工作原理以及應用案例
4.?Kettle大數據ETL工具的部署與配置，以及應用實戰
5.?利用Sqoop實現MySQL與Hadoop集群之間的數據導入導出交互程序
6.?Hadoop大數據運維監控管理系統HUE平臺的安裝部署與應用配置
7.?Hadoop運維管理監控系統Ambari平臺的安裝部署與應用配置
8.?Hadoop集群運維系統Ganglia, Nagios的安裝部署與應用配置 |
大數據分布式采集與分布式消息訂閱系統及其應用實踐（可選） |
1.?Flume-NG數據采集系統的數據流模型、平臺架構、集群部署與配置應用實戰
2.?Kafka分布式消息訂閱系統的應用介紹、平臺架構、集群部署與配置應用實戰 |
內存數據庫管理系統及其應用實踐（可選） |
1.?Impala實時查詢系統平臺架構、核心關鍵技術剖析
2.?Impala實時查詢系統的部署與應用開發實踐
3.?Redis內存數據庫集群架構以及核心技術剖析
4.?Redis集群的部署與應用開發實戰與案例分析 |
Cassandra數據管理系統應用實踐（可選） |
1.?Cassandra集群的平臺架構以及核心關鍵技術
2.?Cassandra一致性哈希算法與數據對象分布策略
3.?Cassandra集群的安裝部署與配置優化
4.?Cassandra應用開發實戰與案例分析 |
大數據項目應用完整實踐與咨詢討論 |
1.?根據講師布置的實際應用案例，開展大數據完整項目部署設計和應用開發實踐
2.?大數據項目的需求分析、應用實施以及解決方案分享咨詢與交流討論 |
學習考核與行業經驗交流 |
合作伙伴與授權機構
shuhaipeixun
1299983702
總部李老師
