學(xué)習(xí)內(nèi)容:?
Spark介紹、Spark應(yīng)用場(chǎng)景 、Spark和Hadoop MR、Storm的比較和優(yōu)勢(shì) 、RDD、Transformation、Action、Spark計(jì)算PageRank、Lineage、Spark模型簡(jiǎn)介、Spark緩存策略和容錯(cuò)處理、寬依賴與窄依賴、Spark配置講解、Spark集群搭建、集群搭建常見(jiàn)問(wèn)題解決、Spark原理核心組件和常用RDD、數(shù)據(jù)本地性、任務(wù)調(diào)度、 DAGScheduler、TaskScheduler、Spark源碼解讀、性能調(diào)優(yōu)、Spark和Hadoop2.x整合:Spark on Yarn原理......
學(xué)習(xí)目標(biāo):?
本部分內(nèi)容全面涵蓋了Spark生態(tài)系統(tǒng)的概述及其編程模型,深入內(nèi)核的研究,Spark on Yarn,Spark Streaming流式計(jì)算原理與實(shí)踐,Spark SQL,Spark的多語(yǔ)言編程以及SparkR的原理和運(yùn)行