Spark編程基礎培訓

第1章 大數據技術概述

1.1 大數據時代

1.2 大數據概念

1.3 大數據的影響

1.4 大數據關鍵技術

1.5 大數據計算模式

1.6 代表性大數據技術

第1章大數據技術概述單元測驗

第2章 Scala語言基礎

2.1 Scala語言概述

2.2 Scala基礎知識

2.3 面向對象編程基礎

2.4 函數式編程基礎

第2章Scala語言基礎單元測驗

第3章 Spark的設計與運行原理

3.1 Spark概述

3.2 Spark生態系統

3.3 Spark運行架構

3.4 Spark的部署和應用方式

第3章 Spark的設計與運行原理單元測驗

第4章 Spark環境搭建和使用方法

4.1 安裝Spark

4.2 在spark-shell中運行代碼

4.3 開發Spark獨立應用程序

4.4 Spark集群環境搭建

4.5 在集群上運行Spark應用程序

第4章Spark環境搭建和使用方法單元測驗

第5章 RDD編程

5.1 RDD編程基礎

5.2鍵值對RDD

5.3 數據讀寫

5.4 綜合案例

第5章 RDD編程單元測驗

第6章 Spark SQL

6.1 Spark SQL簡介

6.2 DataFrame

6.3 從RDD轉換得到DataFrame

6.4 使用Spark SQL讀寫數據庫

第6章 Spark SQL單元測驗

第7章 Spark Streaming

7.1 流計算概述

7.2 Spark Streaming

7.3 DStream操作概述

7.4 基本輸入源

7.5 高級數據源

7.6 轉換操作

7.7 輸出操作

7.8 Structured Streaming

第7章 Spark Streaming單元測驗

第8章 Spark MLlib

8.1 Spark MLlib簡介

8.2 機器學習流水線

8.3 特征抽取、轉化和選擇

8.4 分類與回歸

第8章 Spark MLlib單元測驗