Flume
定義：Flume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統，Flume基于流式架構，靈活簡單
Flume基礎架構
Flume安裝部署
（1）將apache-flume-1.9.0-bin.tar.gz上傳到linux的/opt/software目錄下
（2）解壓apache-flume-1.9.0-bin.tar.gz到/opt/module/目錄下
tar -zxf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/
（3）修改apache-flume-1.9.0-bin的名稱為flume
mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume
（4）將lib檔案夾下的guava-11.0.2.jar洗掉以兼容Hadoop 3.1.3**(切記要改)**
rm /opt/module/flume/lib/guava-11.0.2.jar
Source分類講解
Taildir Source：支持斷點續傳、多目錄檔案監控
Avro Source：Avro埠監聽并接收來自外部的Avro客戶流的事件
Exec Source：Exec Source的配置就是設定一個Unix(linux)命令，然后通過這個命令不斷輸出資料
Spooling Directory Source：監測配置的目錄下新增的檔案，并將檔案中的資料讀取出來
Sink分類講解
HDFS Sink：當需要將事件訊息寫入到Hadoop分布式檔案系統（HDFS）時，可以使用HDFS Sink
Avro Sink：和 Avro Source一起作業，用于構建Flume分層收集資料訊息結構
Kafka Sink：通過該Sink可將事件訊息資料發布到Kafka topic 上
Logger Sink：可以將資料輸出到控制臺上
Flume事務（重點）
Put 事務流程
doPut：將批資料先寫入臨時緩沖區 putList
doCommit：檢查 channel 記憶體佇列是否足夠合并
doRollback：channel 記憶體佇列空間不足，回滾資料
Take 事務流程
doTake：將資料取到臨時緩沖區 takeList，并將資料發送到 HDFS
doCommit：如果資料全部發送成功，則清除臨時緩沖區 takeList
doRollback：資料發送程序中如果出現例外，rollback 將臨時緩沖區 takeList 中的資料歸還給 channel 記憶體佇列
事務實作
? flume使用兩個獨立的事務分別負責從soucrce到channel，以及從channel到sink的事件傳遞
source->channel
? source端到channel事務容易實作，比如spooldir，每次檔案從source端到channel端，一旦檔案所有資料全部傳遞到channel，則檔案標示為成功，如果要做到精細化點，可以設定batchsize，配置一個事務多少行資料，一個batch一個事務單元，多個batch事務成功，則檔案標示成功，
channel->target
? channel端到sink端事務，根據不同的channel型別有不同設定，基于FileChannel，根據sink傳遞狀態來決定，重傳資料還是標示該事務成功，而基于MemoryChannel，由于不存在資料備份，一旦sink失敗，需要資料回滾，重新寫回channel，等待重新傳遞，
Flume Agent內部原理
注：DefaultSinkProcessor 單 Sink
? LoadBalancingSinkProcessor 多個Sink 平均分
? FailoverSinkProcessor 多個Sink 往一個Sink放，直到放不下再往下個放
Flume拓撲結構（重點會寫組態檔!!!）
簡單串聯
復制和多路復用
負載均衡和故障轉移
聚合
Interceptor攔截器（次次重點）
攔截器是簡單的插件式組件，設定在source和channel之間，source接收到的時間，在寫入channel之前，攔截器都可以進行轉換或者洗掉這些事件，每個攔截器只處理同一個source接收到的事件，可以自定義攔截器
flume內置了很多攔截器，并且會定期的添加一些攔截器，在這里列出一些flume內置的，經常使用的攔截器
下列為常用攔截器
Timestamp Interceptor(時間戳攔截器)
flume中一個最經常使用的攔截器 ，該攔截器的作用是將時間戳插入到flume的事件報頭中，如果不使用任何攔截器，flume接受到的只有message，時間戳攔截器的配置， 引數 默認值 描述 type 型別名稱timestamp，也可以使用類名的全路徑 preserveExisting false 如果設定為true，若事件中報頭已經存在，不會替換時間戳報頭的值
正則過濾攔截器(Regex Filtering Interceptor)
在日志采集的時候，可能有一些資料是我們不需要的，這樣添加過濾攔截器，可以過濾掉不需要的日志，也可以根據需要收集滿足正則條件的日志，引數默認值描述 type 型別名稱REGEX_FILTER regex .* 匹配除“\n”之外的任何個字符 excludeEvents false 默認收集匹配到的事件，如果為true，則會洗掉匹配到的event，收集未匹配到的
自定義攔截器
數默認值描述 type 型別名稱REGEX_FILTER regex .* 匹配除“\n”之外的任何個字符 excludeEvents false 默認收集匹配到的事件，如果為true，則會洗掉匹配到的event，收集未匹配到的
自定義攔截器
flume面試問題：丟不丟失資料，怎么實作的?為啥這么快？
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/258694.html
標籤：其他