一、Logstash
Logstash誕生于2009年8月，2013年被ElasticSearch公司收購，Logstash是一個分布式日志收集框架，開發語言是JRuby，經常與ElasticSearch，Kibana配合使用組成著名的ELK技術堆疊，所謂ELK就是ElasticSearch、Logstash、Kibana這三個組件，
二、Filebeat
Filebeat是一款輕量級日志采集器（同一個公司推出的Logstash替代品），可用于轉發和匯總日志與檔案，Filebeat內置有多種模塊（Nginx、MySQL、Redis、Elasticsearch、Logstash等），可針對常見格式的日志大大簡化收集、決議和可視化程序，只需一條命令即可，
三、Flume
Flume誕生于2010年，最早由Cloudrea開發，是一個高可用，高可靠的分布式海量日志采集系統，支持定制各類資料發送方，一般和 kafka 訂閱訊息系統搭配較多，其設計原理也是基于將資料流，如日志資料從各種網站服務器上匯集起來存盤到HDFS，HBase等集中存盤系統中，Flume目前有兩個版本，OG和NG，區別很大，初始的發行版本叫做FlumeOG，后被apache收購，改名為Apache Flume，收購重構后的版本統稱為Flume NG（next generation下一代的意思）；所以現在Flume已經是ApacheETL工具集中的一員，
Flume與logstash相比，兩者最初的設計目的就不太一樣，Flume本身最初設計的目的是為了把資料傳入HDFS中（并不是為了采集日志而設計，這和Logstash有根本的區別），
四、Fluentd
fluentd是一款開源的日志收集工具，基于ruby和C撰寫，它擁有非常多的插件，可以滿足的我們對各種格式的日志進行收集，過濾，決議等，把日志資訊變成我們想要的格式，并且，沒有找到滿足我們的插件，我們可以自己寫插件，
fluentd收集日志時，將所有日志看做JSON格式的資料，并且用正則運算式去匹配日志，fluentd自帶豐富的日志收集格式，以及可以將日志收集到各種存盤的資料庫，
fluentd有7種型別的插件:輸入、決議器、過濾器、輸出、格式化程式、存盤和緩沖區，
Fluend-bit是Fluentd的精華版本，純C撰寫、大小450kb，更輕量級，主要支持資料的收集和處理功能，
對比
| 型別 | Logstash | Filebeat | Flume | Fluentd |
|---|---|---|---|---|
|
平臺 |
Linux&Windows | Linux&Windows | Linux&Windows | Linux&Windows |
| 運行環境 | java | go | java | ruby |
| 資源開銷 | 大 | 小 | 小 | 非常小 |
| 配置 | 簡單 | 簡單 | 較復雜 | 復雜 |
| 可靠性 | 不穩定 | 穩定 | 高可靠 | 可靠 |
方案
較成熟的日志系統方案：Filebeat → Logstash → ElasticSearch → Kibana
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/285858.html
標籤：其他
上一篇：俄羅斯方塊的設計與實作
下一篇：5G網路是什么