一、Spark SQL基礎(chǔ)
?? ?
1、Spark SQL的簡(jiǎn)介
?? ?
2、基本概念:DataSets和DataFrames
?? ?
3、創(chuàng)建DataFrames
?? ?
4、DataFrames操作
?? ?
5、Global Temporary view?
?? ?
6、創(chuàng)建DataSets
?? ?
7、DataSets的操作案例
二、使用數(shù)據(jù)源
?? ?
1、通用的load/save函數(shù)
?? ?
2、Parquet文件
?? ?
3、JSON文件
?? ?
4、使用JDBC
?? ?
5、使用Hive Table
三、性能的優(yōu)化
?? ?
1、在內(nèi)存中的緩存數(shù)據(jù)
?? ?
2、性能優(yōu)化相關(guān)參數(shù)
四、在IDEA中開(kāi)發(fā)Spark SQL程序
?? ?
1、案例一:指定的Schema的格式
?? ?
2、案例二:使用case class
?? ?
3、案例三:將數(shù)據(jù)保存到關(guān)系型數(shù)據(jù)庫(kù)中