【Flume簡(jiǎn)介】

Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接受方（可定制）的能力。

當(dāng)前Flume有兩個(gè)版本Flume 0.9X版本的統(tǒng)稱(chēng)Flume-og，F(xiàn)lume1.X版本的統(tǒng)稱(chēng)Flume-ng。由于Flume-ng經(jīng)過(guò)重大重構(gòu)，與Flume-og有很大不同，使用時(shí)請(qǐng)注意區(qū)分。

?

【Flume特征】

1.? Flume可以高效率的將多個(gè)網(wǎng)站服務(wù)器中收集的日志信息存入HDFS/HBase中

2.? 使用Flume，我們可以將從多個(gè)服務(wù)器中獲取的數(shù)據(jù)迅速的移交給Hadoop中

3.? 除了日志信息，F(xiàn)lume同時(shí)也可以用來(lái)接入收集規(guī)模宏大的社交網(wǎng)絡(luò)節(jié)點(diǎn)事件數(shù)據(jù)，比如facebook,twitter,電商網(wǎng)站如亞馬遜，flipkart等

4.? 支持各種接入資源數(shù)據(jù)的類(lèi)型以及接出數(shù)據(jù)類(lèi)型

5.? 支持多路徑流量，多管道接入流量，多管道接出流量，上下文路由等

6. 可以被水平擴(kuò)展

?

【系統(tǒng)學(xué)習(xí)并掌握Flume】

尚硅谷Flume教程

https://www.bilibili.com/video/BV184411B7kU

課程詳情：

在本課程中，你將學(xué)習(xí)到，F(xiàn)lume架構(gòu)原理、安裝配置、拓?fù)浣Y(jié)構(gòu)、使用Flume搭建監(jiān)控端口采集數(shù)據(jù)、監(jiān)控本地(或HDFS)文件(或文件夾)采集數(shù)據(jù)、多數(shù)據(jù)源采集數(shù)據(jù)、多數(shù)據(jù)出口收集日志、Flume負(fù)載均衡以及對(duì)于Flume的監(jiān)控Ganglia的運(yùn)用。

?