Hadoop環(huán)境搭建 Hadoop集群搭建、Hadoop新特性
可掌握的核心能力:
能夠理解Shell命令選項(xiàng);
能夠理解NameNode與DataNode;
能夠?qū)崿F(xiàn)Shell定時(shí)采集數(shù)據(jù)至HDFS;
能夠理解MapReduce處理流程解析;
能夠熟練使用Flume;
掌握數(shù)據(jù)倉庫的基本使用;
能夠熟練使用Hive;
能夠?qū)崿F(xiàn)數(shù)據(jù)采集搜集和數(shù)據(jù)預(yù)處理;
熟練Azkaban的使用;
掌握維度建模的三種方式;
掌握網(wǎng)站流量的統(tǒng)計(jì)分析;
掌握Hadoop3的新特性。
可解決的現(xiàn)實(shí)問題:
掌握大數(shù)據(jù)轉(zhuǎn)型必備技能,為需要轉(zhuǎn)型的JavaEE工程師提供新的轉(zhuǎn)型基礎(chǔ)。
HDFS HDFS基本原理、HDFS應(yīng)用開發(fā)
MapReduce&Flume MapReduce核心機(jī)制、MapReduce深入、Flume
數(shù)據(jù)管理與數(shù)據(jù)倉庫
數(shù)據(jù)管理、數(shù)據(jù)倉庫、數(shù)據(jù)倉庫
網(wǎng)站日志分析系統(tǒng)
數(shù)據(jù)采集搜集、數(shù)據(jù)預(yù)處理、Azkaban、維度建模、Sqoop
|