        大數(shù)據(jù)處理技術(shù)-基于Hadoop/Yarn的大數(shù)據(jù)技術(shù)培訓(xùn)

第一講云計(jì)算及大數(shù)據(jù)處理技術(shù)介紹

1）云計(jì)算的概念

2）云計(jì)算發(fā)展現(xiàn)狀

3）大數(shù)據(jù)的概念

4）大數(shù)據(jù)的應(yīng)用

5）大數(shù)據(jù)關(guān)鍵技術(shù)

第二講Google的關(guān)鍵技術(shù)

1）GFS分布式文件系統(tǒng)

2）Chubby并發(fā)鎖機(jī)制

3）MapReduce計(jì)算模型

4）Bigtable大表管理技術(shù)

第三講Hadoop系統(tǒng)及HDFS

1） Hadoop及其運(yùn)行架構(gòu)

2） Yarn中的隔離和調(diào)度機(jī)制

3） HDFS分布式文件及塊

4） Seqenence file等DFS文件格式

5） HA和Federation

第四講MapReduce計(jì)算模型設(shè)計(jì)

1) MapReduce產(chǎn)生背景

2) MapReduce編程模型

3) MapReduce實(shí)現(xiàn)機(jī)制

4) MapReduce案例分析

第五講Pig 數(shù)據(jù)流處理工具

1）Pig 設(shè)計(jì)的

2）Pig Latine介紹

3）Pig關(guān)鍵性技術(shù)

4）Pig的實(shí)用案例

第六講 云數(shù)據(jù)倉(cāng)庫(kù)Hive

1) Hive設(shè)計(jì)

2) Hive數(shù)據(jù)模型

3) Hive關(guān)鍵性技術(shù)

4) Hive的使用案例

第七講HBase和NoSQL

1）NoSQL技術(shù)及其應(yīng)用介紹

2）HBase數(shù)據(jù)處理機(jī)制

3）HBase列族設(shè)計(jì)及API

4）HBase高并發(fā)讀/寫的實(shí)現(xiàn)

5）ZooKeeper并發(fā)控制模型

第八講 數(shù)據(jù)抽取工具Sqoop

1）云中數(shù)據(jù)與DBMS數(shù)據(jù)的交換

2）Sqoop數(shù)據(jù)抽取關(guān)鍵技術(shù)

3）Sqoop數(shù)據(jù)抽取策略

4）Sqoop的使用實(shí)例

第九講 Hadoop與其他云數(shù)據(jù)處理技術(shù)的融合

1）其他云環(huán)境中大數(shù)據(jù)處理技術(shù)介紹

2）與Spark實(shí)時(shí)處理技術(shù)的融合

3）與Storm流數(shù)據(jù)處理技術(shù)的融合

4）與Docker等其它云工具的融合

5）基于Hadoop/Yarn的大數(shù)據(jù)挖掘應(yīng)用

六、培訓(xùn)

1，了解基于Hadoop/Yarn的大數(shù)據(jù)處理相關(guān)知識(shí)。

2，學(xué)習(xí)Hadoop/Yarn的核心技術(shù)方法以及應(yīng)用特征。

3，深入學(xué)習(xí)Hadoop/Yarn相關(guān)工具在大數(shù)據(jù)中的實(shí)操使用。

4，了解Hadoop與Storm、Spark、Docker等技術(shù)的融合使用。