課程大綱：

Hadoop 核心組件基礎培訓

1 Hadoop 基礎概念

2 Hadoop 偽分布式模式部署

3 HDFS 的初始化方法

4 HDFS 基本操作

5 MapReduce 應用的編寫和編譯方法

6 YARN 配置文件的作用

7 HBase 的數(shù)據(jù)模型和基本操作

8 Sqoop 的數(shù)據(jù)傳輸方法

9 向 Solr 添加數(shù)據(jù)的方法

10 Hive 架構及部署

11 Flume 的架構和數(shù)據(jù)流模型

12 Flume Agent 配置方法

13 Kafka 的架構及部署

14 Flume 與 Kafka 的連接方法

15 Pig 使用方法

16 HDFS 的基本使用

17 Hadoop 各配置項的作用

18 HDFS 架構

19 MapReduce 核心思想及架構

20 YARN 核心思想及架構

YARN 應用開發(fā)方式

Sqoop 的體系結構

Solr 特性及部署

Solr 檢索數(shù)據(jù)的方式

Hive HQL 語言

多數(shù)據(jù)源下配置和啟動 Agent 的方法

Hive 導入外部數(shù)據(jù)的方法

Kafka Connect 的用法

Pig 架構及部署

1
Hadoop 簡介與安裝部署

1.Hadoop的體系結構

2.Hadoop的主要模塊

3.Hadoop偽分布式模式部署

4.HDFS的基本使用

5.WordCount測試用例

1
Hadoop 系統(tǒng)部署

1.Hadoop各個配置項的作用

2.啟動Hadoop守護進程的方法

3.HDFS的初始化方法

2
HDFS 架構與操作

1.HDFS架構

2.HDFS基本操作

3.Web管理界面

4.WebHDFSAPI的使用

3
MapReduce 原理與實踐

1.MapReduce核心思想

2.MapReduce編程框架的結構

3.MapReduce應用的編寫和編譯方法

2
使用 MapReduce 進行日志分析

1.Hadoop服務的啟動

2.MapReduce應用的編寫

3.生成Jar包的方法

4.HDFS的基本操作

4
YARN 架構

1.YARN核心思想及架構

2.YARN配置文件的作用

3.YARN應用開發(fā)方式

4.YARNWebUI的使用

3
用 Hadoop 計算圓周率

1.HadoopMapReduce任務執(zhí)行

2.Hadoop示例程序的使用

3.Bash輸出重定向

5
HBase 基礎

1.關系型數(shù)據(jù)庫與非關系型數(shù)據(jù)庫的聯(lián)系和區(qū)別

2.HBase的安裝部署方法

3.HBase的數(shù)據(jù)模型和基本操作

4
HBase 數(shù)據(jù)導入

1.HBase創(chuàng)建表的方法

2.HBase導入外部數(shù)據(jù)的方法

3.HDFS的基本操作

6
Sqoop 數(shù)據(jù)遷移

1.待遷移數(shù)據(jù)源的配置

2.Sqoop的體系結構

3.Sqoop的數(shù)據(jù)傳輸方法

5
HBase 實現(xiàn) Web 日志場景數(shù)據(jù)處理

1.HBase過濾器的用法

2.HBase導入數(shù)據(jù)的方式

3.HBase表操作

4.Bash輸出重定向

7
Solr 基礎實戰(zhàn)

1.Solr的特性

2.Solr的部署方法

3.向Solr添加數(shù)據(jù)的方法

4.Solr檢索數(shù)據(jù)的方式

8
Hive 基礎實戰(zhàn)

1.Hive的架構

2.Hive的基本數(shù)據(jù)單位

3.部署Hive的方法

4.HiveHQL語言

6
導入數(shù)據(jù)到 Hive

1.在Hive中創(chuàng)建表的方法

2.導入CSV數(shù)據(jù)到Hive表的方法

3.在Hive中執(zhí)行SQL查詢的方法

4.Bash輸出重定向

9
Flume 基礎實戰(zhàn)

1.Flume的架構和數(shù)據(jù)流模型

2.Flume的安裝部署方法

3.多數(shù)據(jù)源下配置和啟動Agent的方法

10
Flume、HDFS和Hive實現(xiàn)日志收集和分析

1.FlumeAgent配置方法

2.Hive啟動方法

3.Hive中創(chuàng)建表的方式

4.Hive導入外部數(shù)據(jù)的方法

5.在Hive命令行運行HQL查詢

7
用Flume和MapReduce進行日志分析

1.FlumeAgent配置

2.MapReduce框架的編寫

3.MapReduce任務的執(zhí)行

11
Kafka 基礎實戰(zhàn)

1.Kafka的應用場景

2.Kafka的架構

3.Kafka與Flume的區(qū)別

4.Kafka的安裝部署方法

5.Kafka的故障恢復能力

6.KafkaConnect的用法

8
按需部署 Kafka

1.KafkaZooKeeper的配置

2.KafkaServer的用法

3.Kafka創(chuàng)建主題的方法

4.KafkaConnect的配置和使用

12
使用 Flume 和 Kafka 實現(xiàn)實時日志收集

1.模擬日志的生成方法

2.FlumeAgent的配置方法

3.Kafka的配置方法

4.Flume與Kafka的連接方法

13
Pig 基礎實戰(zhàn)

1.Pig的特性

2.Pig的架構

3.Pig的安裝部署方法

4.Pig的啟動模式

5.PigLatin