課程大綱：

Spark 實時電商數據分析及可視化培訓

Spark 實時電商數據分析可視化系統是一個經典的大數據應用項目，

技術棧主要有 Flume、Kafka、Spark Streaming、Flask 等，

幫助大家了解和運用一些當前熱門的大數據處理組件來親自動手搭建一套大數據處理平臺框架和熟悉大數據項目的基礎開發流程。

1 Spark Streaming 與 Kafka 的對接

2 Kafka 消費者和生產者的應用

3 Echarts 數據展示

4 SocketIO 的使用

5 Dstream 中使用 Redis

6 Kafka 主題創建及數據存儲

7 Kafka 整合 Flume

8 Flask 與 Kafka 對接

9 Flask 整合 SocketIO

10 Spark Streaming 高級函數應用

1
數據采集與傳輸

1.Flume和Kafka基本操作命令

2.Kafka中Topic的創建

3.Flume作為Kafka數據源的配置

4.Zookeeper、Kafka、Flume整合使用

5.Flume與Kafka整合的優點

6.數據消費

2
數據處理之 Spark 對接 Kafka

1.Sparkshell應用

2.Scala在項目中的使用

3.SparkStreaming對接Kafka

4.SparkDstream的創建

5.消費Kafka中Topic的數據

6.樣例類的創建

7.數據預處理

3
數據處理之 Spark 函數應用

1.Sparkstreaming中map、updateStateBy等函數的應用

2.KafkaSink工具類創建

3.KafkaProducer的創建及使用

4.累加函數的編寫

5.Sparkstreaming中的全局狀態

4
數據可視化之 Flask 對接 Kafka

1.Flask簡單應用

2.項目框架配置

3.kafkaConsumer的創建

4.Flask與Kafka對接

5.消費Kafka中Topic的數據

5
數據可視化之 SocketIO 數據推送

1.SocketIO應用

2.Flask視圖函數

3.Socket對象創建

4.線程回調函數編寫 5.JavaScript應用

6
Echarts 應用
1.Echarts引入及應用

2.Echarts常用屬性

3.Echarts加載SocketIO數據

4.Echarts圖表對象創建

7
項目拓展

1.Redis簡介及應用

2.滑動窗口的應用

3.Redis數據存儲

4.Redis工具類創建

8
項目總結

1.Flink簡介及應用

2.項目中使用Flink替代Spark

3.Canal簡介及應用

4.HBase簡介及應用

5.基于Flink的實時數倉