本課程內(nèi)容:
第一章:課程內(nèi)容簡介
第二章:DAG的調(diào)度
2.1 stage的劃分
2.2 stage的調(diào)度
第三章:任務(wù)調(diào)度
3.1 taskset調(diào)度的先進(jìn)先出(FIFO)機(jī)制
3.2 taskset調(diào)度的公平調(diào)度(FAIR)機(jī)制
3.3?taskset調(diào)度的公平調(diào)度(FAIR)機(jī)制需要注意的點(diǎn)
3.4 task調(diào)度的本地性級別定義
3.5 task調(diào)度的延遲調(diào)度講解一
3.6?task調(diào)度的延遲調(diào)度講解二
3.7?task調(diào)度的推測機(jī)制
3.8?task調(diào)度的黑名單機(jī)制
3.9?task調(diào)度的黑名單機(jī)制使用場景
第四章 資源調(diào)度
4.1 executor資源的管理
4.2 task的launch流程及其需要注意的點(diǎn)
4.3 task的statusUpdate流程
第五章 Schedulers On Driver的源代碼講解
5.1 schedulers on driver的總體流程
5.2 源碼講解之schedulers的初始化
5.3 源碼講解之job提交流程
5.3 源碼講解之task結(jié)果處理
第六章 多個(gè)spark應(yīng)用的調(diào)度
6.1 動態(tài)資源分配機(jī)制
6.2 External shuffle service機(jī)制
6.2 External shuffle service機(jī)制實(shí)戰(zhàn)
-