草庐IT

9款日志采集&管理工具对比，选型必备！

轻风博客 2023-04-09 原文 

对于日志管理当前网络上提供了大量的日志工具，今天就给大家分析总结一下这些常用工具的特点，希望对你们在选型时有所帮助。

一、Filebeat

 

Filebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装，Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。

 

Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取一个日志以获取新内容，并将新日志数据发送到libbeat，libbeat会汇总事件并将汇总的数据发送到您为Filebeat配置的输出。

 

 

1、主要特点

 

  • 轻量级并且易使用

 

  • 模块可用于常见用例（例如 Apache 访问日志）。您可以使用它们来设置 Filebeat、Ingest 和 Kibana 仪表板，只需几个命令。

 

2、价格

 

  • 免费开源

 

3、优点

 

  • 资源使用率低

 

  • 良好的性能

 

4、缺点

 

  • 有限的解析和丰富功能

 

二、Graylog

 

Graylog是一个开源的日志聚合、分析、审计、展现和预警工具。功能上和ELK类似，但又比ELK要简单，依靠着更加简洁，高效，部署使用简单的优势很快受到许多人的青睐。

 

1、主要特点

 

  • 一个包含日志处理所有要素的软件包：收集、解析、缓冲、索引、搜索、分析。

     

 

  • 开源 ELK 堆栈无法提供的其他功能，例如基于角色的访问控制和警报。

 

2、价格

 

  • 免费和开源，不过也有企业版（根据要求提供价格）

 

3、优点

 

  • 在一个软件包中满足大多数集中式日志管理用例的需求。

 

  • 轻松扩展存储 (Elasticsearch) 和获取通道。

 

4、缺点

 

  • 可视化能力是有限的，至少与ELK的Kibana相比是如此。

     

     

 

  • 不能使用整个ELK生态系统，因为他们不能直接访问Elasticsearch API。相反，Graylog有自己的API。

 

三、LogDNA

 

LogDNA是日志管理领域的新成员。LogDNA可作为SaaS和内部使用，提供所有日志基础:通过syslog和HTTP(S)以及全文搜索和可视化，提供基于代理和无代理的日志收集，并提供清晰且具有竞争力的价格。

 

1、主要特点

 

  • 用于在组织外部共享日志的嵌入式视图

 

  • 自动解析常用日志格式

 

2、价格

 

  • 免费：无存储

 

  • 收费：付费计划起价为每月每GB 1.50 美元，保留 7 天

 

3、优点

 

  • 用于搜索日志的简单 UI，类似于 Papertrail

     

 

  • 易于理解的计划

 

4、缺点

 

  • 可视化能力有限

     

 

  • 保留期取决于计划（从 7 天到 30 天）；用户数量也是如此（最便宜的计划只允许 5 个）

 

四、ELK

 

1、主要特点

 

ELK堆栈包含了日志管理解决方案所需的大多数工具：

 

  • Log shippers：如Logstash和Filebeat

 

  • Elasticsearch是一个可扩展的搜索引擎

 

  • Kibana作为搜索日志或构建可视化的UI

 

它在集中日志方面非常流行，有很多关于如何在网络上使用它的教程。有一个庞大的工具生态系统，您可以在基本设置之上使用这些工具，通过警报、基于角色的访问控制等来增强它。我们将在这篇博文中详细介绍这些额外的附加功能，我们将在其中讨论 Elastic Stack 功能的替代方案。

 

  • Elasticsearch默认情况下对每个字段进行索引，使搜索速度更快

 

  • 通过API和Kibana实现实时可视化

 

  • 索引前的数据解析和充实

 

2、价格

 

免费和开源。一些公司提供托管 ELK 的形式，见上文。还有 Elastic Cloud，它是云中 ELK 的一种纯粹形式，您主要需要自己管理。

 

3、优点

 

  • 可扩展的搜索引擎作为日志存储

 

  • 成熟的log shippers

 

  • Kibana 中的 Web UI 和可视化

 

4、缺点

 

  • 在规模上，它可能变得难以维护。这就是 Sematext 提供 ELK 堆栈咨询、生产支持和培训的原因

 

  • ELK Stack 的开源版本缺少一些功能，例如基于角色的访问控制和警报。您可以通过商业“Elastic Stack 功能”或其替代品或 Visa Open Distro for Elasticsearch 获得这些功能。

 

五、Grafana Loki

 

Loki 及其生态系统是 ELK 堆栈的替代方案，但它做出了不同的权衡。通过仅索引某些字段（标签），它可以具有完全不同的架构。

 

也就是说，主要的写入组件（Ingester）会将大量日志保存在内存中，从而使最近的查询速度更快。随着块变老，它们被写入两个地方：用于标签的键值存储（例如 Cassandra）和用于块数据的对象存储（例如 Amazon S3）。当您添加数据时，它们都不需要后台维护（例如 Elasticsearch/Solr 需要合并）。

 

如果您查询较旧的数据，您通常会按标签和时间范围进行过滤。这限制了必须从长期存储中检索的块的数量。

 

1、主要特点

 

  • 同一 UI 中的日志和指标 (Grafana)

 

  • Loki 标签可以与 Prometheus 标签保持一致

 

2、价格

 

  • 免费：免费开源

 

  • 收费：还有Grafana Cloud，提供Loki的SaaS服务（也有内部部署的选项）。价格从49美元起，包括100GB的日志存储(30天保留)和3000个度量系列。

 

3、优点

 

  • 与 ELK 相比，摄取速度更快：索引更少，无需合并

 

  • 小存储占用：较小的索引，数据只写入一次到长期存储（通常具有内置复制）

 

  • 使用更便宜的存储（例如 AWS S3）

 

4、缺点

 

  • 与 ELK 相比，较长时间范围内的查询和分析速度较慢

 

  • 与 ELK 相比，log shippers选项更少（例如 Promtail 或 Fluentd）

 

  • 不如 ELK 成熟（例如更难安装）

 

六、Datadog

 

Datadog 是一种 SaaS，最初是作为监控 (APM) 工具，后来还添加了日志管理功能。

 

您可以通过 HTTP(S) 或 syslog，通过现有的日志传送器（rsyslog、syslog-ng、Logstash 等）或通过 Datadog 自己的代理发送日志。

 

它的特点是 Logging without Limits™，这是一把双刃剑：更难预测和管理成本，但您可以获得即用即付定价（见下文）以及您可以存档和从存档中恢复的事实。

 

 

1、主要特点

 

  • 用于解析和丰富日志的服务器端处理管道

 

  • 自动检测常见的日志模式

 

  • 可以将日志归档到 AWS/Azure/Google Cloud 存储并在以后重新使用它们

 

2、价格

 

  • 处理起价为每月每GB 0.10 美元。（例如 1GB 每天 3 美元）

 

  • 处理也适用于从档案中获取，尽管这里的数据是压缩的。

 

  • 100 万个事件的存储起价为 1.59 美元，为期 3 天。（例如，47.7 美元，1GB/天，每个 1K，存储 3 天）

 

3、优点

 

  • 容易搜索，良好的自动完成（基于facet）

 

  • 与DataDog指标和跟踪的集成

 

  • 负担得起，特别是对于短期保留和/或如果你依靠存档进行一些搜索

 

4、缺点

 

现场不可用；一些用户抱怨成本失控（由于定价灵活）；您可以设置每日处理配额

 

七、Logstash

 

Logstash 是一个日志收集和处理引擎，它带有各种各样的插件，使您能够轻松地从各种来源摄取数据，将其转换并转发到定义的目的地。它与 Elasticsearch 和 Kibana 一起是 Elastic Stack 的一部分，这就是为什么它最常用于将数据传送到 Elasticsearch。

 

 

1、主要特点

 

  • 许多内置的输入、过滤/转换和输出插件

 

  • 灵活的配置格式:您可以添加内联脚本，包括其他配置文件等

 

2、价格

 

  • 免费开源

 

3、优点

 

  • 容易开始和移动到复杂的配置

 

  • 灵活：Logstash用于各种日志记录用例，甚至用于非日志记录数据

 

  • 写得很好的文档和大量的操作指南

 

4、缺点

 

  • 与其他日志shippers相比，资源使用率高

 

  • 与替代品相比，性能较差

 

八、Fluentd

 

作为一个很好的 Logstash 替代品，Fluentd 是 DevOps 的最爱，特别是对于 Kubernetes 部署，因为它具有丰富的插件库。与 Logstash 一样，它可以将数据结构化为 JSON，并涉及日志数据处理的所有方面：收集、解析、缓冲和输出跨各种来源和目的地的数据。

 

 

1、主要特点

 

  • 与库和Kubernetes的良好集成

 

  • 大量的内置插件，很容易编写新的

 

2、价格

 

  • 免费开源

 

3、优点

 

  • 良好的性能和资源使用

 

  • 良好的插件生态系统

 

  • 易于使用的配置

 

  • 良好的文档

 

4、缺点

 

  • 解析前没有缓冲，可能会导致日志管道出现背压。

 

  • 对转换数据的支持有限，就像您可以使用 Logstash 的 mutate 过滤器或 rsyslog 的变量和模板一样。

 

九、Splunk

 

Splunk 是最早的商业日志集中工具之一，也是最受欢迎的。尽管它也作为服务提供 (Splunk Cloud)，但典型的部署是本地部署 (Splunk Enterprise)。您可以将日志和指标发送到 Splunk 并一起分析它们。

 

 

1、主要特点

 

  • 用于搜索和分析的强大查询语言

 

  • 搜索时字段提取（在摄取时解析之外）

 

  • 自动将经常访问的数据移动到快速存储，将不经常访问的数据自动移动到慢速存储。

 

2、价格

 

  • 免费：每天 500MB 数据

 

  • 付费计划可应要求提供，但常见问题解答建议 1GB 的起价为 150 美元/月。

 

3、优点

 

  • 成熟且功能丰富

 

  • 对于大多数用例来说，良好的数据压缩（假设有有限的索引，正如推荐的那样）

 

  • 日志和度量在一个屋檐下

 

4、缺点

 

  • 贵

     

 

  • 对于较长的时间范围，查询速度较慢（建议使用有限的索引）

 

  • 用于度量存储的效率低于专注于监控的工具

作者丨徐传森
选型管理工具ltgtsection

有关9款日志采集&管理工具对比，选型必备！的更多相关文章

  1. ruby - i18n Assets 管理/翻译 UI - 2

    我正在使用i18n从头开始​​构建一个多语言网络应用程序，虽然我自己可以处理一大堆yml文件，但我说的语言(非常)有限，最终我想寻求外部帮助帮助。我想知道这里是否有人在使用UI插件/gem(与django上的django-rosetta不同)来处理多个翻译器，其中一些翻译器不愿意或无法处理存储库中的100多个文件，处理语言数据。谢谢&问候，安德拉斯(如果您已经在ruby​​onrails-talk上遇到了这个问题，我们深表歉意) 最佳答案 有一个rails3branchofthetolkgem在github上。您可以通过在Gemfi

  2. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身，new.html.erb，有代码:当我运行rspec时，它失败了:1)messages/new.html.erbshou

  3. ruby-on-rails - 由于 "wkhtmltopdf"，PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  4. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  5. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据，就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理？我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题；这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML，但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中，将我的XML代码修改为

  6. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本，我按照提供的说明安装了arubagem。它在我的Gemfile中，我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作，我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了，但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  7. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  8. ruby-on-rails - 如何优雅地重启 thin + nginx？ - 2

    我的瘦服务器配置了nginx，我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例，但找不到好的解决方案。有没有人能做到这一点？ 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器，例如server{listen80;server

  9. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案？ - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  10. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切，所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时，我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗？我正在使用OSX并安装了rvm。 最佳答案 或者，您可以只使用“require”，它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

随机推荐