課程大綱：

Apache Kafka 基礎入門培訓

課程以 Java 代碼實戰的方式學習 Kafka。

包括 Kafka 的安裝配置、Producer API 的使用、

Consumer API 的使用以及與第三方框架 Flume、Spark Streaming 的集成開發。

1 MQ 消息系統的概念

2 Zookeeper 和 Kafka 的關系

3 使用 Java 調用 Kafka topic 相關 API

4 Producer 入門開發

5 Consumer 入門開發

6 Kafka 整合 Flume

7 Kafka 發送接收非結構化數據實戰

8 Kafka 消息系統的基本架構

9 使用 shell 命令修改和刪除 topic

10 查看 Kafka 中消息的存儲位置

11 Producer 進階開發

12 Consumer 進階開發

13 Kafka 發送接收結構化數據實戰

14 Spark 2.0 讀取 Kafka 數據實戰

1
Kafka

1.了解MQ消息系統的概念

2.理解Kafka消息系統的基本架構

3.安裝單機版Kafka集群

4.使用Shell命令創建Topic

5.使用Consumer、Producer發送和接收消息

2
理解 Kafka 集群

1.理解Zookeeper和Kafka的關系

2.理解broker、topic、producer、consumer、partition等專有術語

3.用本節的專業術語重新回顧上節課的實驗

3
理解 Kafka topic

1.使用shell命令修改topic、刪除topic

2.使用Java語言調用Kafkatopic相關API

3.查看Kafka中消息的存儲位置

4
Producer 開發入門

1.開發Producer程序的基礎知識

2.開發Java程序發送消息到Kafka集群

3.學習如何創建一個KafkaProducer和ProducerRecord對象

4.學習如何使用默認的partitioner和serializer發送消息

5
Producer 開發進階

1.畫圖展示producer發送消息到Kafka的過程

2.從源碼級別理解producer發送消息的過程

3.開發自定義partitioner分區器

6
Consumer 開發入門

1.理解消費者組的概念

2.學習開發consumer程序的基本步驟

3.編程控制消費指定offset的消息

7
Consumer 開發進階

1.消息offset的同步提交

2.消息offset的異步提交

3.按partition維度提交offset

4.按處理的消息量提交offset

8
Kafka 整合 Flume

1.Flume的安裝和配置

2.Flume接收命令行消息發送到Kafka

9
Kafka 發送接收結構化數據

1.使用Java開發消息發送程序Producer

2.使用Java開發消息讀取程序Consumer

10
Kafka 發送接收非結構化數據

1.發送和接收圖片數據

2.發送和接收視頻數據

11
Spark 2 整合 Kafka

1.使用Eclipse搭建Spark20開發環境

2.使用Sparkstreaming讀取Kafka數據，輸出到console