9款日志采集&管理工具對比，選型必備！-有解無憂

對于日志管理當前網路上提供了大量的日志工具，今天就給大家分析總結一下這些常用工具的特點，希望對你們在選型時有所幫助，

一、Filebeat

Filebeat是用于轉發和集中日志資料的輕量級傳送程式，作為服務器上的代理安裝，Filebeat監視您指定的日志檔案或位置，收集日志事件，并將它們轉發到Elasticsearch或Logstash進行索引，

Filebeat的作業方式如下：啟動Filebeat時，它將啟動一個或多個輸入，這些輸入將在為日志資料指定的位置中查找，對于Filebeat所找到的每個日志，Filebeat都會啟動收集器，每個收集器都讀取一個日志以獲取新內容，并將新日志資料發送到libbeat，libbeat會匯總事件并將匯總的資料發送到您為Filebeat配置的輸出，

1、主要特點

輕量級并且易使用

模塊可用于常見用例（例如 Apache 訪問日志），您可以使用它們來設定 Filebeat、Ingest 和 Kibana 儀表板，只需幾個命令，

2、價格

免費開源

3、優點

資源使用率低

良好的性能

4、缺點

有限的決議和豐富功能

二、Graylog

Graylog是一個開源的日志聚合、分析、審計、展現和預警工具，功能上和ELK類似，但又比ELK要簡單，依靠著更加簡潔，高效，部署使用簡單的優勢很快受到許多人的青睞，

1、主要特點

一個包含日志處理所有要素的軟體包：收集、決議、緩沖、索引、搜索、分析，

開源 ELK 堆疊無法提供的其他功能，例如基于角色的訪問控制和警報，

2、價格

免費和開源，不過也有企業版（根據要求提供價格）

3、優點

在一個軟體包中滿足大多數集中式日志管理用例的需求，

輕松擴展存盤 (Elasticsearch) 和獲取通道，

4、缺點

可視化能力是有限的，至少與ELK的Kibana相比是如此，

不能使用整個ELK生態系統，因為他們不能直接訪問Elasticsearch API，相反，Graylog有自己的API，

三、LogDNA

LogDNA是日志管理領域的新成員，LogDNA可作為SaaS和內部使用，提供所有日志基礎:通過syslog和HTTP(S)以及全文搜索和可視化，提供基于代理和無代理的日志收集，并提供清晰且具有競爭力的價格，

1、主要特點

用于在組織外部共享日志的嵌入式視圖

自動決議常用日志格式

2、價格

免費：無存盤

收費：付費計劃起價為每月每GB 1.50 美元，保留 7 天

3、優點

用于搜索日志的簡單 UI，類似于 Papertrail

易于理解的計劃

4、缺點

可視化能力有限

保留期取決于計劃（從 7 天到 30 天）；用戶數量也是如此（最便宜的計劃只允許 5 個）

四、ELK

1、主要特點

ELK堆疊包含了日志管理解決方案所需的大多數工具：

Log shippers：如Logstash和Filebeat

Elasticsearch是一個可擴展的搜索引擎

Kibana作為搜索日志或構建可視化的UI

它在集中日志方面非常流行，有很多關于如何在網路上使用它的教程，有一個龐大的工具生態系統，您可以在基本設定之上使用這些工具，通過警報、基于角色的訪問控制等來增強它，我們將在這篇博文中詳細介紹這些額外的附加功能，我們將在其中討論 Elastic Stack 功能的替代方案，

Elasticsearch默認情況下對每個欄位進行索引，使搜索速度更快

通過API和Kibana實作實時可視化

索引前的資料決議和充實

2、價格

免費和開源，一些公司提供托管 ELK 的形式，見上文，還有 Elastic Cloud，它是云中 ELK 的一種純粹形式，您主要需要自己管理，

3、優點

可擴展的搜索引擎作為日志存盤

成熟的log shippers

Kibana 中的 Web UI 和可視化

4、缺點

在規模上，它可能變得難以維護，這就是 Sematext 提供 ELK 堆疊咨詢、生產支持和培訓的原因

ELK Stack 的開源版本缺少一些功能，例如基于角色的訪問控制和警報，您可以通過商業“Elastic Stack 功能”或其替代品或 Visa Open Distro for Elasticsearch 獲得這些功能，

五、Grafana Loki

Loki 及其生態系統是 ELK 堆疊的替代方案，但它做出了不同的權衡，通過僅索引某些欄位（標簽），它可以具有完全不同的架構，

也就是說，主要的寫入組件（Ingester）會將大量日志保存在記憶體中，從而使最近的查詢速度更快，隨著塊變老，它們被寫入兩個地方：用于標簽的鍵值存盤（例如 Cassandra）和用于塊資料的物件存盤（例如 Amazon S3），當您添加資料時，它們都不需要后臺維護（例如 Elasticsearch/Solr 需要合并），

如果您查詢較舊的資料，您通常會按標簽和時間范圍進行過濾，這限制了必須從長期存盤中檢索的塊的數量，

1、主要特點

同一 UI 中的日志和指標 (Grafana)

Loki 標簽可以與 Prometheus 標簽保持一致

2、價格

免費：免費開源

收費：還有Grafana Cloud，提供Loki的SaaS服務（也有內部部署的選項），價格從49美元起，包括100GB的日志存盤(30天保留)和3000個度量系列，

3、優點

與 ELK 相比，攝取速度更快：索引更少，無需合并

小存盤占用：較小的索引，資料只寫入一次到長期存盤（通常具有內置復制）

使用更便宜的存盤（例如 AWS S3）

4、缺點

與 ELK 相比，較長時間范圍內的查詢和分析速度較慢

與 ELK 相比，log shippers選項更少（例如 Promtail 或 Fluentd）

不如 ELK 成熟（例如更難安裝）

六、Datadog

Datadog 是一種 SaaS，最初是作為監控 (APM) 工具，后來還添加了日志管理功能，

您可以通過 HTTP(S) 或 syslog，通過現有的日志傳送器（rsyslog、syslog-ng、Logstash 等）或通過 Datadog 自己的代理發送日志，

它的特點是 Logging without Limits?，這是一把雙刃劍：更難預測和管理成本，但您可以獲得即用即付定價（見下文）以及您可以存檔和從存檔中恢復的事實，

1、主要特點

用于決議和豐富日志的服務器端處理管道

自動檢測常見的日志模式

可以將日志歸檔到 AWS/Azure/Google Cloud 存盤并在以后重新使用它們

2、價格

處理起價為每月每GB 0.10 美元，（例如 1GB 每天 3 美元）

處理也適用于從檔案中獲取，盡管這里的資料是壓縮的，

100 萬個事件的存盤起價為 1.59 美元，為期 3 天，（例如，47.7 美元，1GB/天，每個 1K，存盤 3 天）

3、優點

容易搜索，良好的自動完成（基于facet）

與DataDog指標和跟蹤的集成

負擔得起，特別是對于短期保留和/或如果你依靠存檔進行一些搜索

4、缺點

現場不可用；一些用戶抱怨成本失控（由于定價靈活）；您可以設定每日處理配額

七、Logstash

Logstash 是一個日志收集和處理引擎，它帶有各種各樣的插件，使您能夠輕松地從各種來源攝取資料，將其轉換并轉發到定義的目的地，它與 Elasticsearch 和 Kibana 一起是 Elastic Stack 的一部分，這就是為什么它最常用于將資料傳送到 Elasticsearch，

1、主要特點

許多內置的輸入、過濾/轉換和輸出插件

靈活的配置格式:您可以添加行內腳本，包括其他組態檔等

2、價格

免費開源

3、優點

容易開始和移動到復雜的配置

靈活：Logstash用于各種日志記錄用例，甚至用于非日志記錄資料

寫得很好的檔案和大量的操作指南

4、缺點

與其他日志shippers相比，資源使用率高

與替代品相比，性能較差

八、Fluentd

作為一個很好的 Logstash 替代品，Fluentd 是 DevOps 的最愛，特別是對于 Kubernetes 部署，因為它具有豐富的插件庫，與 Logstash 一樣，它可以將資料結構化為 JSON，并涉及日志資料處理的所有方面：收集、決議、緩沖和輸出跨各種來源和目的地的資料，

1、主要特點

與庫和Kubernetes的良好集成

大量的內置插件，很容易撰寫新的

2、價格

免費開源

3、優點

良好的性能和資源使用

良好的插件生態系統

易于使用的配置

良好的檔案

4、缺點

決議前沒有緩沖，可能會導致日志管道出現背壓，

對轉換資料的支持有限，就像您可以使用 Logstash 的 mutate 過濾器或 rsyslog 的變數和模板一樣，

九、Splunk

Splunk 是最早的商業日志集中工具之一，也是最受歡迎的，盡管它也作為服務提供 (Splunk Cloud)，但典型的部署是本地部署 (Splunk Enterprise)，您可以將日志和指標發送到 Splunk 并一起分析它們，

1、主要特點

用于搜索和分析的強大查詢語言

搜索時欄位提取（在攝取時決議之外）

自動將經常訪問的資料移動到快速存盤，將不經常訪問的資料自動移動到慢速存盤，

2、價格

免費：每天 500MB 資料

付費計劃可應要求提供，但常見問題解答建議 1GB 的起價為 150 美元/月，

3、優點

成熟且功能豐富

對于大多數用例來說，良好的資料壓縮（假設有有限的索引，正如推薦的那樣）

日志和度量在一個屋檐下

4、缺點

對于較長的時間范圍，查詢速度較慢（建議使用有限的索引）

用于度量存盤的效率低于專注于監控的工具

作者丨徐傳森

本文來自博客園，作者：古道輕風，轉載請注明原文鏈接：https://www.cnblogs.com/88223100/p/Big-competition-of-log-management-tools.html

轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/549109.html

標籤：其他

上一篇：【組合設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

下一篇：借降本增效之名，探索開閉原則架構設計