/

         

         

         

         
          IC培訓
           
         
        大數據spark生態體系課程培訓

         
          班級規模及環境--熱線:4008699035 手機:15921673576/13918613812( 微信同號)
              為了保證培訓效果,增加互動環節,我們堅持小班授部份,每期報名人數限3到5人,多余人員安排到下一期進行。
          上間和地點
        上部份地點:【上海】同濟大學(滬西)/新城金郡商務樓(11號線白銀路站)【深圳分部】:電影大廈(地鐵一號線大劇院站)/深圳大學成教院【北京分部】:北京中山/福鑫大樓【南京分部】:金港大廈(和燕路)【武漢分部】:佳源大廈(高新二路)【成都分部】:領館區1號(中和大道)【沈陽分部】:沈陽理工大學/六宅臻品【鄭州分部】:鄭州大學/錦華大廈【石家莊分部】:河北科技大學/瑞景大廈
        近開間(周末班/連續班/晚班):2025年3月24日........................(歡迎您垂詢,視教育質量為生命!)
          實驗設備
            ◆:共5天,30學時
               
               ☆注重質量☆邊講邊練

               ☆合格學員免費推薦工作
               ★實驗設備請點擊這兒查看★
          質量保障

               1、培訓過程中,如有部分內容理解不透或消化不好,可免費在以后培訓班中重聽;
               2、課程完成后,授課老師留給學員手機和Email,保障培訓效果,免費提供半年的技術支持。
               3、培訓合格學員可享受免費推薦就業機會。☆合格學員免費頒發相關工程師等資格證書,提升職業資質。專注高端技術培訓15年,曙海學員的能力得到大家的認同,受到用人單位的廣泛贊譽,曙海的證書受到廣泛認可。

        部份程大綱
         
        • 01 Scala入門
          安裝Scala
          配置IDEA環境
          使用Scala REPL
          使用Scala Doc
          聲明值和變量
          常用類型
          算術和操作符重載
          調用函數和方法
          apply、update方法
          option類型
          If else表達式、while表達式、for表達式
          函數
          過程、懶值、異常
          02 Scala數據結構
          主要的集合特質
          數組、映射、元組、隊列、堆棧、列表、集
          添加去除元素操作符
          將函數映射到集合
          化簡、折疊、掃描
          拉鏈操作
          迭代器
          流(不可變列表)
          懶視圖
          與java集合的互操作總結
          線程安全的集合
          并行集合
          操作符概述
          03 Scala模式匹配
          更好的switch
          守衛
          模式中的變量
          類型模式
          匹配數組、列表和元組
          提取器
          變量聲明中的模式
          For表達式中的模式
          樣例類
          Copy方法和帶名參數
          Case語句的中置表達式
          匹配嵌套結構
          密封類、模擬枚舉、偏函數
          04 高階函數 & 類 & 對象
          作為參數的函數
          匿名函數、高階函數
          參數(類型)推斷
          閉包、柯里化、控制抽象
          簡單類和無參方法
          Getter、Setter方法
          對象私有字段
          Bean屬性、構造器
          嵌套類
          單例對象、伴生對象
          Apply方法
          應用程序對象
          枚舉
          05 Scala包和引入 & 繼承
          包、作用域、包對象
          包可見性、引入
          重命名和隱藏方法
          繼承類
          重寫方法
          類型檢查和轉換
          受保護的字段和方法
          超類的構造
          重寫字段
          匿名子類
          抽象類
          構造順序和提前定義
          Scala繼承層級

          06 Scala特質
          不允許多重繼承
          當做接口使用的特質
          帶有具體實現的特質
          帶有特質的對象
          疊加在一起的特質
          在特質中重寫抽象方法
          當做富接口使用的特質
          特質中的具體字段
          特質中的抽象字段
          07 注解 & 類型參數
          什么可以被注解
          注解參數
          注解實現
          針對java特性的注解
          用于優化的注解
          泛型類、泛型函數
          類型變量限定
          視圖界定
          上下文界定
          08 Scala隱式轉換
          隱式轉換
          利用隱式轉換豐富類庫功能
          引入隱式轉換
          隱式轉換規則
          隱式參數
          利用隱式參數進行隱式轉換
          上下文界定
          讀取行、讀取字符
          讀取詞法單元和數字
          09 Scala高級類型
          類型與類的區別
          classOf與getClass的區別
          單例類型
          類型投影
          類型別名
          結構類型
          復合類型
          中置類型
          自身類型
          10 Scala Akka實例實操
          需求分析
          業務需求分解
          項目源代碼
          新建Maven項目AkkaSystem
          WorkInfo類抽象
          ActorMessage
          Master
          Worker
          案例運行
          第四階段
          大數據spark生態體系
          11 Spark基礎解析
          什么是Spark、Spark特點
          Spark的用戶和用途
          Spark集群安裝
          配置Job History Server
          配置Spark HA
          執行第一個spark程序
          Spark應用提交
          啟動Spark Shell
          在IDEA中編寫WordCount程序
          在IDEA中本地調試WordCount程序
          在IDEA中遠程調試WordCount程序
          12 SparkCore應用解析(一)
          RDD概述
          RDD彈性
          RDD特點
          RDD編程模型
          RDD持久化
          RDD檢查點機制
          RDD的依賴關系
          DAG的生成
          鍵值對RDD的轉化操作
          鍵值對RDD的行動操作
          鍵值對RDD的數據分區
          13 SparkCore應用解析(二)
          文本文件輸入輸出
          JSON文件輸入輸出
          CSV文件輸入輸出
          SequenceFile文件輸入輸出
          對象文件輸入輸出
          Hadoop輸入輸出格式
          文件系統的輸入輸出
          數據庫的輸入輸出
          RDD編程進階
          累加器、自定義累加器
          廣播變量
          14 SparkSQL應用解析(一)
          什么是Spark SQL
          RDD vs DataFrames vs DataSet
          SparkSQL命令行查詢流程
          IDEA創建SparkSQL程序
          新的起始點SparkSession
          創建DataFrames
          DataFrame常用操作
          Dataset和RDD互操作
          類型之間的轉換總結
          用戶自定義UDF函數
          用戶自定義聚合函數
          15 SparkSQL應用解析(二)
          SparkSQL數據源
          通用加載/保存方法
          Parquet文件
          Hive數據庫
          JSON數據集
          JDBC
          JDBC/ODBC服務器
          運行Spark SQL CLI
          計算所有訂單中每年的銷售單數、銷售總額案例
          計算所有訂單每年大金額訂單的銷售額案例
          計算所有訂單中每年暢銷貨品案例

          16 SparkStreaming應用解析
          什么是Spark Streaming
          Spark與Storm的對比
          運行Spark Streaming
          架構與抽象
          初始化StreamingContext
          什么是Dstreams
          DStreams輸入
          DStreams轉換
          DStreams輸出
          累加器和廣播變量
          DataFrame ans SQL Operations
          Caching / Persistence
          7x24 不間斷運行
          性能考量
          17 SparkGraphX 應用解析(一)
          什么是Spark GraphX
          彈性分布式屬性圖
          運行圖計算程序
          圖存儲模式
          GraphX存儲模式
          vertices、edges以及triplets
          圖的構建
          BSP計算模式
          圖操作一覽
          操作一覽
          轉換操作
          結構操作
          頂點關聯操作
          聚合操作、緩存操作
          18 SparkGraphX 應用解析(二)
          Pregel API
          pregel計算模型
          pregel實現短路徑
          GraphX實例
          PageRank排名算法
          PageRank算法原理
          Spark GraphX實現
          廣度優先遍歷(參考)
          單源短路徑(參考)
          連通圖(參考)
          三角計數(參考)
          PageRank實例


          19 Spark內核解析(一)
          RDD抽象
          計算抽象、集群模式
          RPC網絡通信抽象
          啟動Standalone集群
          核心組件
          核心組件交互流程
          Block管理
          整體應用
          start-daemon.sh腳本解析
          spark-class腳本解析
          start-master.sh腳本解析
          start-slaves.sh腳本解析
          start-all.sh腳本解析
          spark-submit腳本解析
          20 Spark內核解析(二)
          Spark通信架構
          Endpoint啟動過程
          Endpoint Send & Ask流程
          Endpoint receive流程
          Endpoint Inbox處理流程
          Endpoint畫像
          Master節點和Work節點啟動流程
          Client啟動流程
          Driver和DriverRunner
          SparkContext解析
          SparkContext創建過程
          SparkContext簡易結構與交互關系
          Master對Application資源分配
          Worker創建Executor
          第四階段
          大數據spark生態體系
          21 Spark內核解析(三)
          Job提交和Task的拆分
          Task的執行流程
          Task的回饋流程
          Task的迭代流程
          Spark的數據存儲
          數據寫入過程分析
          數據讀取過程分析
          Partition如何轉化為Block
          partition和block的對應關系
          Spark Shuffle過程
          Spill過程
          Collect、Sort
          Spill
          Merge
          Copy
          Merge Sort
          MapReduce與Spark過程對比
          22 Spark內核解析(四)
          Spark內存管理
          堆內內存、堆外內存
          內存管理接口、靜態內存管理
          統一內存管理
          RDD 的持久化機制
          RDD 緩存的過程
          淘汰和落盤
          多任務間內存分配
          Shuffle 的內存占用
          部署模式解析
          standalone框架
          yarn集群模式、mesos集群模式
          spark 三種部署模式的區別
          異常分析1:worker異常退出
          異常分析2:executor異常退出
          異常分析3:master 異常退出
          wordcount程序運行原理窺探
          23 Spark優化解析(一)
          調優基本原則
          數據傾斜優化
          如何定位導致數據傾斜的代碼
          如何緩解/消除數據傾斜
          Shuffle調優
          HashShuffleManager運行原理
          SortShuffleManager運行原理
          程序開發調優
          原則一:避免創建重復的RDD
          原則二:盡可能復用同一個RDD
          原則三:對多次使用的RDD進行持久化
          原則四:盡量避免使用shuffle類算子
          原則五:使用map-side預聚合的shuffle操作
          原則六:使用高性能的算子
          原則七:廣播大變量
          原則八:使用Kryo優化序列化性能
          原則九:優化數據結構
          24 優化解析 & 機器學習
          運行資源調優
          JVM虛擬機優化
          GC優化
          Spark的內存管理優化
          根據日志進一步調優
          京東商城基于Spark的風控系統的實現
          Spark在美團的實踐
          數據處理平臺架構中的SMACK組合
          大數據架構選擇
          機器學習算法常用指標
          機器學習凸優化算法分析及案例實操
          機器學習L1、L2正則化算法分析及案例實操
          PCA降維算法分析及案例實操
          ICA降維算法分析及案例實操
          非平衡數據處理
          模型優化
          損失函數
          25 機器學習(二)
          矩陣奇異值分解SVD
          線性回歸算法
          邏輯回歸算法
          貝葉斯分類算法
          SVM支持向量機算法
          決策樹算法
          K近鄰算法
          KMEANS聚類算法
          EM算法
          FPGrowth關聯規則算法
          Apriori關聯規則算法
          協同過濾推薦算法
          ALS交替小二乘算法
          SVD推薦系統算法
          隨機森林算法
          AdaBoost算法
          XgBoost算法、GBDT算法

          26 Flink入門
          流處理技術的演變
          初識Flink
          批處理與流處理
          Flink基本架構
          JobManager與TaskManager
          無界數據流與有界數據流
          數據流編程模型
          Flink集群搭建
          Standalone模式安裝
          Yarn模式安裝
          27 Flink運行架構
          任務提交流程
          任務調度原理
          Worker與Slots
          程序與數據流
          并行數據流
          task與operator chains
          Flink DataStream API
          Flink運行模型
          Flink程序架構
          執行環境
          28 Flink source & sink
          基于File的數據源
          基于Socket的數據源
          基于集合(Collection)的數據源
          writeAsText
          WriteAsCsv
          print/printToErr
          writeUsingOutputFormat
          writeToSocket
          Transformation
          Map
          29 Flink Transformation
          FlatMap、Filter
          Connect
          CoMap,CoFlatMap
          Split、Select
          Union、KeyBy
          Reduce、Fold
          Aggregations
          Time、Window
          CountWindow
          TimeWindow
          30 Time與Window
          Window Reduce
          Window Fold
          Aggregation on Window
          EventTime的引入
          Watermark
          EvnetTimeWindow API
          滾動窗口
          滑動窗口
          會話窗口
          總結
          第四階段
          大數據spark生態體系
          31 Elasticsearch入門
          什么是Elasticsearch?
          Elasticsearch的適用場景、特點、核心概念
          Elasticsearch安裝部署、head插件安裝
          獲取Transport Client案例
          創建索引案例
          刪除索引案例
          新建文檔(源數據json串)
          新建文檔(源數據map方式添加json)
          新建文檔(源數據es構建器添加json)
          搜索文檔數據(單個索引)
          32 Elasticsearch案例實操
          搜索文檔數據(多個索引)
          更新文檔數據(update)
          更新文檔數據(upsert)
          刪除文檔數據(prepareDelete)
          查詢所有(matchAllQuery)
          對所有字段分詞查詢(queryStringQuery)
          通配符查詢(wildcardQuery)
          詞條查詢(TermQuery)
          模糊查詢(fuzzy)
          映射操作案例
          33 Python基礎
          認識python
          編寫第一個python程序
          注釋
          變量以及類型
          標示符和關鍵字
          輸入&輸出
          運算符
          數據類型轉換
          判斷語句介紹
          if判斷語句
          34 Python基礎
          if嵌套
          while循環
          for循環
          break和continue
          字符串輸入&輸出
          下標和切片
          元組(tuple)
          函數
          文件操作
          類和對象
          35 Python基礎
          封裝
          繼承
          多態
          設計模式
          異常
          模塊
          列表推導式
          集合
          垃圾回收
          編碼風格
        曙海教育實驗設備
        android開發板
        linux_android開發板
        fpga圖像處理
        fpga培訓班*
         
        本部份程部分實驗室實景
        曙海實驗室
        實驗室
        曙海培訓優勢
         
          合作伙伴與授權機構



        Altera全球合作培訓機構



        諾基亞Symbian公司授權培訓中心


        Atmel公司全球戰略合作伙伴


        微軟全球嵌入式培訓合作伙伴


        英國ARM公司授權培訓中心


        ARM工具關鍵合作單位
          我們培訓過的企業客戶評價:
            曙海的andriod系統與應用培訓完全符合了我公司的要求,達到了我公司培訓的目的。特別值得一提的是授部份講師針對我們公司的開發的項目專門提供了一些很好程序的源代碼,基本滿足了我們的項目要求。
        ——上海貝爾,李工
            曙海培訓DSP2000的老師,上部份思路清晰,口齒清楚,由淺入深,重點突出,培訓效果是不錯的,
        達到了我們想要的效果,希望繼續合作下去。
        ——中國電子科技集團技術部主任馬工
            曙海的FPGA培訓很好地填補了高校FPGA培訓空白,不錯。總之,有利于學生的發展,有利于教師的發展,有利于部份程的發展,有利于社會的發展。
        ——上海電子,馮老師
            曙海給我們公司提供的Dsp6000培訓,符合我們項目的開發要求,解決了很多困惑我們很久的問題,與曙海的合作非常愉快。
        ——公安部第三研究所,項目部負責人李先生
            MTK培訓-我在網上找了很久,就是找不到。在曙海居然有MTK驅動的培訓,老師經驗很豐富,知識面很廣。下一個還想培訓IPHONE蘋果手機。跟他們合作很愉快,老師很有人情味,態度很和藹。
        ——臺灣雙揚科技,研發處經理,楊先生
            曙海對我們公司的iPhone培訓,實驗項目很多,確實學到了東西。受益無窮啊!特別是對于那種正在開發項目的,確實是物超所值。
        ——臺灣歐澤科技,張工
            通過參加Symbian培訓,再做Symbian相關的項目感覺更加得心應手了,理論加實踐的授部份方式,很有針對性,非常的適合我們。學完之后,很輕松的就完成了我們的項目。
        ——IBM公司,沈經理
            有曙海這樣的DSP開發培訓單位,是教育行業的財富,聽了他們的部份,茅塞頓開。
        ——上海醫療器械高等學校,羅老師
          我們新培訓過的企業客戶以及培訓的主要內容:
         

        一汽海馬汽車DSP培訓
        蘇州金屬研究院DSP培訓
        南京南瑞集團技術FPGA培訓
        西安愛生技術集團FPGA培訓,DSP培訓
        成都熊谷加世電氣DSP培訓
        福斯賽諾分析儀器(蘇州)FPGA培訓
        南京國電工程FPGA培訓
        北京環境特性研究所達芬奇培訓
        中國科微系統與信息技術研究所FPGA高級培訓
        重慶網視只能流技術開發達芬奇培訓
        無錫力芯微電子股份IC電磁兼容
        河北科研究所FPGA培訓
        上海微小衛星工程中心DSP培訓
        廣州航天航空POWERPC培訓
        桂林航天工DSP培訓
        江蘇五維電子科技達芬奇培訓
        無錫步進電機自動控制技術DSP培訓
        江門市安利電源工程DSP培訓
        長江力偉股份CADENCE培訓
        愛普生科技(無錫)數字模擬電路
        河南平高電氣DSP培訓
        中國航天員科研訓練中心A/D仿真
        常州易控汽車電子WINDOWS驅動培訓
        南通大學DSP培訓
        上海集成電路研發中心達芬奇培訓
        北京瑞志合眾科技WINDOWS驅動培訓
        江蘇金智科技股份FPGA高級培訓
        中國重工第710研究所FPGA高級培訓
        蕪湖伯特利汽車安全系統DSP培訓
        廈門中智能軟件技術Android培訓
        上海科慢車輛部件系統EMC培訓
        中國電子科技集團第五十研究所,軟件無線電培訓
        蘇州浩克系統科技FPGA培訓
        上海申達自動防范系統FPGA培訓
        四川長虹佳華信息MTK培訓
        公安部第三研究所--FPGA初中高技術開發培訓以及DSP達芬奇芯片視頻、圖像處理技術培訓
        上海電子信息職業技術--FPGA高級開發技術培訓
        上海點逸網絡科技有限公司--3G手機ANDROID應用和系統開發技術培訓
        格科微電子有限公司--MTK應用(MMI)和驅動開發技術培訓
        南昌航空大學--fpga高級開發技術培訓
        IBM公司--3G手機ANDROID系統和應用技術開發培訓
        上海貝爾--3G手機ANDROID系統和應用技術開發培訓
        中國雙飛--Vxworks應用和BSP開發技術培訓

         

        上海水務建設工程有限公司--Alter/XilinxFPGA應用開發技術培訓
        恩法半導體科技--AllegroCandencePCB仿真和信號完整性技術培訓
        中國計量--3G手機ANDROID應用和系統開發技術培訓
        冠捷科技--FPGA芯片設計技術培訓
        芬尼克茲節能設備--FPGA高級技術開發培訓
        川奇光電--3G手機ANDROID系統和應用技術開發培訓
        東華大學--Dsp6000系統開發技術培訓
        上海理工大學--FPGA高級開發技術培訓
        同濟大學--Dsp6000圖像/視頻處理技術培訓
        上海醫療器械高等專科學校--Dsp6000圖像/視頻處理技術培訓
        中航工業無線電電子研究所--Vxworks應用和BSP開發技術培訓
        北京交通大學--Powerpc開發技術培訓
        浙江理工大學--Dsp6000圖像/視頻處理技術培訓
        臺灣雙陽科技股份有限公司--MTK應用(MMI)和驅動開發技術培訓
        滾石移動--MTK應用(MMI)和驅動開發技術培訓
        冠捷半導體--Linux系統開發技術培訓
        奧波--CortexM3+uC/OS開發技術培訓
        迅時通信--WinCE應用與驅動開發技術培訓
        海鷹醫療電子系統--DSP6000圖像處理技術培訓
        博耀科技--Linux系統開發技術培訓
        華路時代信息技術--VxWorksBSP開發技術培訓
        臺灣歐澤科技--iPhone開發技術培訓
        寶康電子--AllegroCandencePCB仿真和信號完整性技術培訓
        上海天能電子有限公司--AllegroCandencePCB仿真和信號完整性技術培訓
        上海亨通光電科技有限公司--andriod應用和系統移植技術培訓
        上海智搜文化傳播有限公司--Symbian開發培訓
        先先信息科技有限公司--brew手機開發技術培訓
        鼎捷集團--MTK應用(MMI)和驅動開發技術培訓
        傲然科技--MTK應用(MMI)和驅動開發技術培訓
        中軟國際--Linux系統開發技術培訓
        龍旗控股集團--MTK應用(MMI)和驅動開發技術培訓
        研祥智能股份有限公司--MTK應用(MMI)和驅動開發技術培訓
        羅氏診斷--Linux應用開發技術培訓
        西東控制集團--DSP2000應用技術及DSP2000在光伏并網發電中的應用與開發
        科大訊飛--MTK應用(MMI)和驅動開發技術培訓
        東北農業大學--IPHONE蘋果應用開發技術培訓
        中國電子科技集團--Dsp2000系統和應用開發技術培訓
        中國船舶重工集團--Dsp2000系統開發技術培訓
        晶方半導體--FPGA初中高技術培訓
        肯特智能儀器有限公司--FPGA初中高技術培訓
        哈爾濱大學--IPHONE蘋果應用開發技術培訓
        昆明電器科學研究所--Dsp2000系統開發技術
        奇瑞汽車股份--單片機應用開發技術培訓


         

        -

         

          曙海企業  
          備案號:滬ICP備08026168號 .(2014年7月11)...................
        友情鏈接:Cadence培訓 ICEPAK培訓 EMC培訓 電磁兼容培訓 sas容培訓 羅克韋爾PLC培訓 歐姆龍PLC培訓 PLC培訓 三菱PLC培訓 西門子PLC培訓 dcs培訓 橫河dcs培訓 艾默生培訓 robot CAD培訓 eplan培訓 dcs培訓 電路板設計培訓 浙大dcs培訓 PCB設計培訓 adams培訓 fluent培訓系列課程 培訓機構課程短期培訓系列課程培訓機構 長期課程列表實踐課程高級課程學校培訓機構周末班培訓 南京 NS3培訓 OpenGL培訓 FPGA培訓 PCIE培訓 MTK培訓 Cortex訓 Arduino培訓 單片機培訓 EMC培訓 信號完整性培訓 電源設計培訓 電機控制培訓 LabVIEW培訓 OPENCV培訓 集成電路培訓 UVM驗證培訓 VxWorks培訓 CST培訓 PLC培訓 Python培訓 ANSYS培訓 VB語言培訓 HFSS培訓 SAS培訓 Ansys培訓 短期培訓系列課程培訓機構 長期課程列表實踐課程高級課程學校培訓機構周末班 曙海 教育 企業 培訓課程 系列班 長期課程列表實踐課程高級課程學校培訓機構周末班 短期培訓系列課程培訓機構 曙海教育企業培訓課程 系列班
        在線客服