一、Hadoop2.0 動態增加節點
怎樣添加節點
添加新的服務器節點
新節點操作系統配置
新節點Hadoop配置
調整新節點副本數
?
二、Hadoop2.0 動態刪除節點
怎樣刪除節點
刪除Hadoop2.0集群節點
測試監控刪除節點后的集群
?
三、Hadoop2.0 HDFS HA部署
HDFS HA的實現方式
HDFS HA的實現步驟
HA集群環境配置
HA hdfs-site.xml參數配置
HA其他參數配置
JournalNode服務啟動及初始化
HDFS HA服務啟動及手工切換
基于ZK自動切換模式的實現
HDFS HA中ZooKeeper部署
配置HDFS HA自動切換模式
HDFS HA自動故障切換測試
?
四、Hadoop2.0 HDFS HA+Federation部署
HDFS Federation的實現方式及規劃
HDFS Federation的配置步驟
配置HDFS Federation
HDFS Federation服務啟動及測試
HDFS HA+Federation實現及配置步驟
HDFS HA+Federation的配置及服務啟動
HDFS HA+Federation集群故障模擬測試
?
五、Hadoop升級
Hadoop內部升級的實現
Hadoop1.0升級到2.0步驟
HDFS升級配置操作
執行HDFS升級并測試驗證
MapReduce升級
?
六、Hadoop2.0 YARN HA部署
YARN HA的實現
YARN HA的配置步驟及其相關參數
Hadoop2.0 YARN HA配置操作
YARN HA服務啟動及測試
YARN HA測試及錯誤處理
解決YARN HA啟動錯誤的問題
HDFS+YARN HA故障模擬測試
?
七、Hadoop安全管理深度剖析
-Hadoop安全背景
-Hadoop1.0安全問題及處理機制
Kerberos基本概念及授權認證過程
Kerberos在Hadoop中的應用
Hadoop1.0安全機制的具體實現
RPC安全之身份認證機制
RPC安全之服務訪問控制機制
HDFS安全策略
Mapreduce安全策略
Hadoop上層服務的安全策略
Hadoop1.0安全機制的應用場景
Hadoop2.0安全認證機制的實現
Yarn中的各類令牌及其作用
Hadoop2.0授權機制的實現
?
八、搭建本地yum安裝CDH5 Hadoop集群
為什么選擇CDH
CDH的體系架構
CDH的集群規劃
CDH操作系統配置步驟
CDH集群主機名及網絡配置
操作系統yum源配置
CDH5的yum源配置
主機間信任關系的建立
NTP時間同步服務配置
JDK安裝
安裝和配置HDFS步驟
YUM安裝HDFS
CDH集群環境變量配置
CDH5 HDFS核心配置
HDFS其他重要配置及服務啟動
安裝和配置YARN的步驟
YARN的安裝
YARN的核心參數配置
MapReduce相關參數配置
服務啟動及驗證
CDH5集群測試
webHDFS的使用
?
九、基于Kerberos認證的Hadoop安全管理
Kerberos集群規劃及配置步驟
Kerberos安裝配置
Kerberos數據庫創建及服務啟動
Kerberos的使用及測試
Kerberos principal和keytab概念剖析
HDFS上配置Kerberos步驟
HDFS principal創建及生成keytab文件
HDFS keytab文件部署
HDFS安全參數配置
Namenode服務的安全啟動
Datanode服務的安全啟動
HDFS安全使用測試
YARN配置Kerberos步驟
YARN principal創建及keytab文件生成部署
YARN安全參數配置
YARN服務安全啟動及測試
自動化集群管理
?
十、Zookeeper&HIVE&HBASE&LDAP實現Kerberos認證
Zookeeper配置Kerberos步驟
通過Yum安裝Zookeeper
Zookeeper Server配置Kerberos
Zookeeper Client配置kerberos
HBase相關概念深度解析
HBase配置Kerberos步驟
通過Yum安裝HBase 01
通過Yum安裝HBase 02
為HBase配置Kerberos
HBase啟動錯誤診斷及測試
CDH Hive架構及配置Kerberos認證步驟
安裝HIVE組件及配置PostgreSQL
Hive的基礎配置
為Hive配置Kerberos認證
Hive shell及Beeline安全訪問測試
hive與hbase集成原理
hive-hbase集成安裝配置
hive-hbase映射表創建
LDAP基本概念
LDAP模式設計
LDAP集成Kerberos配置步驟
LDAP安裝和基礎配置
LDAP集成Kerberos及數據庫創建
導入系統用戶到LDAP
OpenLDAP客戶端配置和使用
?
十一、Impala大數據分析引擎
什么是Impala
Impala架構和進程
Impala安裝配置步驟
Impala安裝部署
Impala配置及服務啟動
Impala配置Kerberos認證
Impala啟停故障處理及測試
Impala的使用
Impala-shell基本功能的使用
Impala連接查詢
Impala聚合及子查詢
Impala分區表的使用
Impala的優化
Impala收集統計信息及生成查詢計劃
HDFS緩存池在Impala中的使用
?
十二、Oozie&Hue的使用及安全認證管理
什么是oozie
Oozie安裝和配置步驟
Oozie安裝和基本配置
Oozie安全配置及服務啟動?
Oozie啟動問題處理
Oozie Mapreduce作業測試
Oozie常用命令及工作流程定義
Oozie MR&hive&sqoop動作節點配置
Oozie pig&ssh&java&sw&shell動作節點配置
Oozie Coordinator作業
Coordinator動作和應用定義
Oozie Bundle應用定義
什么是Hue
安裝配置Hue-HDFS&YARN
Hue配置Hive、Kerberos、Imapala和Zookeeper等
Hue安裝啟動問題處理
Hue頁面初始化及查詢問題解決
Hue控制臺的使用
?
十三、Hadoop2.0授權及資源調度管理
Hadoop授權管理基礎知識
服務訪問授權
服務級授權配置實例
隊列訪問控制列表
隊列訪問控制配置實例
公平調度器配置步驟
公平調度器配置實例
公平調度器驗證
容量調度器配置
容量調度器配置
容量調度配置測試驗證
基于標簽的調度器
?
十四、Hadoop壓縮
hadoop壓縮概念及支持的格式
hadoop常用幾種壓縮格式對比
壓縮格式的選擇
Snappy壓縮配置
Snappy&Gzip壓縮測試
Hadoop LZO壓縮安裝配置步驟
cdh5 lzo壓縮安裝
lzo安裝問題處理
lzo壓縮配置及測試
hive配置使用lzo壓縮
Hive外部表使用lzo壓縮文件
Hive使用lzo壓縮實例
hbase壓縮配置
hbase壓縮測試
?
十五、Hadoop文件存儲格式
大數據存儲需求及方式
Hadoop常用文件格式
HDFS塊內三種存儲方式實例
RCFile的設計和實現
ORCFile文件結構
Hive文件存儲格式的選擇
Hive不同文件格式數據加載測試
多種文件格式查詢存儲效率測試
RCFile性能測試
?
十六、Hadoop調優
調優思路
應用程序優化
Linux系統優化
Hadoop實現機制調優
機架感知策略實現
Hadoop參數調優綜述及NameNode調優
Datanode參數調優
集中化緩存管理
集中緩存架構和概念
緩存管理及緩存池命令
緩存操作實例
緩存參數配置
YARN調優概述
Slave和Container資源分配
配置資源分配和進程大小屬性
YARN內存監控
Reducer調度調優
Mapreduce其他關鍵參數調優 |