一、Hadoop2.0 動態(tài)增加節(jié)點(diǎn)
怎樣添加節(jié)點(diǎn)
添加新的服務(wù)器節(jié)點(diǎn)
新節(jié)點(diǎn)操作系統(tǒng)配置
新節(jié)點(diǎn)Hadoop配置
調(diào)整新節(jié)點(diǎn)副本數(shù)
?
二、Hadoop2.0 動態(tài)刪除節(jié)點(diǎn)
怎樣刪除節(jié)點(diǎn)
刪除Hadoop2.0集群節(jié)點(diǎn)
測試監(jiān)控刪除節(jié)點(diǎn)后的集群
?
三、Hadoop2.0 HDFS HA部署
HDFS HA的實(shí)現(xiàn)方式
HDFS HA的實(shí)現(xiàn)步驟
HA集群環(huán)境配置
HA hdfs-site.xml參數(shù)配置
HA其他參數(shù)配置
JournalNode服務(wù)啟動及初始化
HDFS HA服務(wù)啟動及手工切換
基于ZK自動切換模式的實(shí)現(xiàn)
HDFS HA中ZooKeeper部署
配置HDFS HA自動切換模式
HDFS HA自動故障切換測試
?
四、Hadoop2.0 HDFS HA+Federation部署
HDFS Federation的實(shí)現(xiàn)方式及規(guī)劃
HDFS Federation的配置步驟
配置HDFS Federation
HDFS Federation服務(wù)啟動及測試
HDFS HA+Federation實(shí)現(xiàn)及配置步驟
HDFS HA+Federation的配置及服務(wù)啟動
HDFS HA+Federation集群故障模擬測試
?
五、Hadoop升級
Hadoop內(nèi)部升級的實(shí)現(xiàn)
Hadoop1.0升級到2.0步驟
HDFS升級配置操作
執(zhí)行HDFS升級并測試驗(yàn)證
MapReduce升級
?
六、Hadoop2.0 YARN HA部署
YARN HA的實(shí)現(xiàn)
YARN HA的配置步驟及其相關(guān)參數(shù)
Hadoop2.0 YARN HA配置操作
YARN HA服務(wù)啟動及測試
YARN HA測試及錯誤處理
解決YARN HA啟動錯誤的問題
HDFS+YARN HA故障模擬測試
?
七、Hadoop安全管理深度剖析
-Hadoop安全背景
-Hadoop1.0安全問題及處理機(jī)制
Kerberos基本概念及授權(quán)認(rèn)證過程
Kerberos在Hadoop中的應(yīng)用
Hadoop1.0安全機(jī)制的具體實(shí)現(xiàn)
RPC安全之身份認(rèn)證機(jī)制
RPC安全之服務(wù)訪問控制機(jī)制
HDFS安全策略
Mapreduce安全策略
Hadoop上層服務(wù)的安全策略
Hadoop1.0安全機(jī)制的應(yīng)用場景
Hadoop2.0安全認(rèn)證機(jī)制的實(shí)現(xiàn)
Yarn中的各類令牌及其作用
Hadoop2.0授權(quán)機(jī)制的實(shí)現(xiàn)
?
八、搭建本地yum安裝CDH5 Hadoop集群
為什么選擇CDH
CDH的體系架構(gòu)
CDH的集群規(guī)劃
CDH操作系統(tǒng)配置步驟
CDH集群主機(jī)名及網(wǎng)絡(luò)配置
操作系統(tǒng)yum源配置
CDH5的yum源配置
主機(jī)間信任關(guān)系的建立
NTP時間同步服務(wù)配置
JDK安裝
安裝和配置HDFS步驟
YUM安裝HDFS
CDH集群環(huán)境變量配置
CDH5 HDFS核心配置
HDFS其他重要配置及服務(wù)啟動
安裝和配置YARN的步驟
YARN的安裝
YARN的核心參數(shù)配置
MapReduce相關(guān)參數(shù)配置
服務(wù)啟動及驗(yàn)證
CDH5集群測試
webHDFS的使用
?
九、基于Kerberos認(rèn)證的Hadoop安全管理
Kerberos集群規(guī)劃及配置步驟
Kerberos安裝配置
Kerberos數(shù)據(jù)庫創(chuàng)建及服務(wù)啟動
Kerberos的使用及測試
Kerberos principal和keytab概念剖析
HDFS上配置Kerberos步驟
HDFS principal創(chuàng)建及生成keytab文件
HDFS keytab文件部署
HDFS安全參數(shù)配置
Namenode服務(wù)的安全啟動
Datanode服務(wù)的安全啟動
HDFS安全使用測試
YARN配置Kerberos步驟
YARN principal創(chuàng)建及keytab文件生成部署
YARN安全參數(shù)配置
YARN服務(wù)安全啟動及測試
自動化集群管理
?
十、Zookeeper&HIVE&HBASE&LDAP實(shí)現(xiàn)Kerberos認(rèn)證
Zookeeper配置Kerberos步驟
通過Yum安裝Zookeeper
Zookeeper Server配置Kerberos
Zookeeper Client配置kerberos
HBase相關(guān)概念深度解析
HBase配置Kerberos步驟
通過Yum安裝HBase 01
通過Yum安裝HBase 02
為HBase配置Kerberos
HBase啟動錯誤診斷及測試
CDH Hive架構(gòu)及配置Kerberos認(rèn)證步驟
安裝HIVE組件及配置PostgreSQL
Hive的基礎(chǔ)配置
為Hive配置Kerberos認(rèn)證
Hive shell及Beeline安全訪問測試
hive與hbase集成原理
hive-hbase集成安裝配置
hive-hbase映射表創(chuàng)建
LDAP基本概念
LDAP模式設(shè)計
LDAP集成Kerberos配置步驟
LDAP安裝和基礎(chǔ)配置
LDAP集成Kerberos及數(shù)據(jù)庫創(chuàng)建
導(dǎo)入系統(tǒng)用戶到LDAP
OpenLDAP客戶端配置和使用
?
十一、Impala大數(shù)據(jù)分析引擎
什么是Impala
Impala架構(gòu)和進(jìn)程
Impala安裝配置步驟
Impala安裝部署
Impala配置及服務(wù)啟動
Impala配置Kerberos認(rèn)證
Impala啟停故障處理及測試
Impala的使用
Impala-shell基本功能的使用
Impala連接查詢
Impala聚合及子查詢
Impala分區(qū)表的使用
Impala的優(yōu)化
Impala收集統(tǒng)計信息及生成查詢計劃
HDFS緩存池在Impala中的使用
?
十二、Oozie&Hue的使用及安全認(rèn)證管理
什么是oozie
Oozie安裝和配置步驟
Oozie安裝和基本配置
Oozie安全配置及服務(wù)啟動?
Oozie啟動問題處理
Oozie Mapreduce作業(yè)測試
Oozie常用命令及工作流程定義
Oozie MR&hive&sqoop動作節(jié)點(diǎn)配置
Oozie pig&ssh&java&sw&shell動作節(jié)點(diǎn)配置
Oozie Coordinator作業(yè)
Coordinator動作和應(yīng)用定義
Oozie Bundle應(yīng)用定義
什么是Hue
安裝配置Hue-HDFS&YARN
Hue配置Hive、Kerberos、Imapala和Zookeeper等
Hue安裝啟動問題處理
Hue頁面初始化及查詢問題解決
Hue控制臺的使用
?
十三、Hadoop2.0授權(quán)及資源調(diào)度管理
Hadoop授權(quán)管理基礎(chǔ)知識
服務(wù)訪問授權(quán)
服務(wù)級授權(quán)配置實(shí)例
隊(duì)列訪問控制列表
隊(duì)列訪問控制配置實(shí)例
公平調(diào)度器配置步驟
公平調(diào)度器配置實(shí)例
公平調(diào)度器驗(yàn)證
容量調(diào)度器配置
容量調(diào)度器配置
容量調(diào)度配置測試驗(yàn)證
基于標(biāo)簽的調(diào)度器
?
十四、Hadoop壓縮
hadoop壓縮概念及支持的格式
hadoop常用幾種壓縮格式對比
壓縮格式的選擇
Snappy壓縮配置
Snappy&Gzip壓縮測試
Hadoop LZO壓縮安裝配置步驟
cdh5 lzo壓縮安裝
lzo安裝問題處理
lzo壓縮配置及測試
hive配置使用lzo壓縮
Hive外部表使用lzo壓縮文件
Hive使用lzo壓縮實(shí)例
hbase壓縮配置
hbase壓縮測試
?
十五、Hadoop文件存儲格式
大數(shù)據(jù)存儲需求及方式
Hadoop常用文件格式
HDFS塊內(nèi)三種存儲方式實(shí)例
RCFile的設(shè)計和實(shí)現(xiàn)
ORCFile文件結(jié)構(gòu)
Hive文件存儲格式的選擇
Hive不同文件格式數(shù)據(jù)加載測試
多種文件格式查詢存儲效率測試
RCFile性能測試
?
十六、Hadoop調(diào)優(yōu)
調(diào)優(yōu)思路
應(yīng)用程序優(yōu)化
Linux系統(tǒng)優(yōu)化
Hadoop實(shí)現(xiàn)機(jī)制調(diào)優(yōu)
機(jī)架感知策略實(shí)現(xiàn)
Hadoop參數(shù)調(diào)優(yōu)綜述及NameNode調(diào)優(yōu)
Datanode參數(shù)調(diào)優(yōu)
集中化緩存管理
集中緩存架構(gòu)和概念
緩存管理及緩存池命令
緩存操作實(shí)例
緩存參數(shù)配置
YARN調(diào)優(yōu)概述
Slave和Container資源分配
配置資源分配和進(jìn)程大小屬性
YARN內(nèi)存監(jiān)控
Reducer調(diào)度調(diào)優(yōu)
Mapreduce其他關(guān)鍵參數(shù)調(diào)優(yōu) |