
hadoop數(shù)據(jù)倉庫培訓
Hadoop數(shù)據(jù)倉庫概述
1.hadoop數(shù)據(jù)倉庫與傳統(tǒng)倉庫區(qū)別
2. hadoop數(shù)據(jù)倉庫架構(gòu)
3. hadoop數(shù)據(jù)倉庫關(guān)鍵模塊
數(shù)據(jù)接入與存儲、數(shù)據(jù)加工,數(shù)據(jù)建模,數(shù)據(jù)分析及可視化等模塊
4. hadoop倉庫關(guān)鍵點
數(shù)據(jù)質(zhì)量把控
數(shù)據(jù)模型選擇
OLAP引擎選擇
Hadoop數(shù)據(jù)倉庫:數(shù)據(jù)接入與存儲模塊
1. 數(shù)據(jù)接入模塊關(guān)鍵技術(shù)
講解sqoop,flume,kafka以及databus等常用開源技術(shù)以及它們對應(yīng)的應(yīng)用場景
2. 數(shù)據(jù)存儲模塊關(guān)鍵技術(shù)
講解hdfs(不同存儲格式及壓縮格式對性能的影響)、hbase、kudu、hive等開源技術(shù)以及它們對應(yīng)的應(yīng)用場景
Hadoop數(shù)據(jù)倉庫:數(shù)據(jù)加工模塊
數(shù)據(jù)加工模塊關(guān)鍵技術(shù)
講解spark/hive及spark streaming相關(guān)技術(shù)以及對應(yīng)應(yīng)用場景
Hadoop數(shù)據(jù)倉庫:數(shù)據(jù)建模
1. 1. Hadoop數(shù)據(jù)模型
涉及原始表,聚集表以及cube等
涉及元信息管理系統(tǒng)hive metastore
2. 數(shù)據(jù)模型選擇原則
Hadoop數(shù)據(jù)倉庫:數(shù)據(jù)分析
計算引擎的分類及對應(yīng)應(yīng)用場景
涉及hive,presto/impala以及kylin三類系統(tǒng)以及對應(yīng)應(yīng)用場景
Hadoop數(shù)據(jù)倉庫:數(shù)據(jù)可視化
1. 自研系統(tǒng)
C3,Echarts等
2. 商業(yè)系統(tǒng)
tableau等
Hadoop數(shù)據(jù)倉庫實例:某互聯(lián)網(wǎng)公司TB及數(shù)據(jù)倉庫構(gòu)建案例
1. 項目背景
2. 系統(tǒng)架構(gòu)
3. 關(guān)鍵技術(shù)點和特色