課程名稱:Hadoop Flume 收集數(shù)據(jù)培訓

        4401 人關注
        (78637/99817)
        課程大綱:

        Hadoop Flume 收集數(shù)據(jù)培訓

         

         

        Flume 可以從多個數(shù)據(jù)源獲取數(shù)據(jù),把這些數(shù)據(jù)傳給遠程主機(可能是一對多或流水線模型 中的多個目標),再把它們傳給多個目的端。

        盡管 Flume 提供了開發(fā)自定義數(shù)據(jù)源和數(shù)據(jù)目的端的編程 API,但它原本就支持許多常見的場景。

        1
        使用 Flume 收集數(shù)據(jù)

        1.Flume核心概念agent

        2.agent里面包含3個核心組件:source、channel、sink。

        3.sink組件是用于把數(shù)據(jù)發(fā)送到目的地的組件,目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定義。


        登錄 后發(fā)表評論
        新評論
        全部 第1節(jié) 第2節(jié) 第3節(jié) 第4節(jié) 第5節(jié) 第6節(jié) 第7節(jié) 第8節(jié) 第9節(jié) 第10節(jié) 第11節(jié) 第12節(jié) 第13節(jié) 第14節(jié) 第15節(jié) 第16節(jié) 第17節(jié)
        我的報告 / 所有報告