草庐IT

elasticsearch - 来自 tomcat 集群的日志传送

coder 2023-07-19 原文

我正在调查日志系统的问题，并寻找有关该问题的可能解决方案的一些输入。 我们现在拥有的:

  • 6 个 tomcat 集群，日志记录 (log4j2) 配置为使用 SocketAppender
  • 这些的监听器是将记录的事件放在 Redis 上的 logstash 代理
  • 另一个 logstash 代理从 Redis 中挑选条目并将它们推送到 elasticsearch

我们有时遇到的问题是客户端套接字(log4j 记录器)有时会无限期地等待，从而导致应用程序变得无响应。建议的解决方案之一是摆脱套接字附加程序并使用本地文件(我们不需要 kibana 中的“即时”日志信息)。因此，logstash 代理将被配置为从 6 个文件(每个实例一个)中读取并将它们直接推送到 Elasticsearch 中。除了在 logstash 的输入配置中定义了 6 个文件之外，您能否提出这种方法的任何缺点？您还能建议哪些其他选择？提前致谢。

最佳答案

如果您可以选择，我绝对不会使用 SocketAppender。一个问题是你提到的那个问题，另一个问题是你使用的是 Logstash 1.5x 或更早版本，我发现这更麻烦，是你的事件的确切时间戳(由 log4j2 创建)没有传达，这意味着时间戳您的日志行的到达时间将是该日志行在 logstash 中的到达时间，而不是您的应用程序创建日志行的时间。如果您在堆栈中聚合来自不同应用程序/服务器/子系统的日志，那么理解事件的临时性将是一件麻烦事。这是 fixed in Logstash 2.0 ，虽然，但还是值得一提。

除此之外，至少有三个很好的理由将日志存储到文件系统的文件中而不是直接通过 TCP 传输它们:

  1. 您的日志文件实际上是您日志事件的备份，即您可以随时重放这些文件
  2. 您的应用程序不依赖于另一个同步子系统来发送其日志行，它只是将它们接收到自己的文件系统中
  3. 您的 logstash 可能会出现故障(升级、网络连接等)，但您的应用程序仍然能够生成日志，无论链下发生了什么。

关于elasticsearch - 来自 tomcat 集群的日志传送，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33139414/

elasticsearchtomcat志行logstashsectionredislog4j2

有关elasticsearch - 来自 tomcat 集群的日志传送的更多相关文章

  1. Tomcat AJP 文件包含漏洞（CVE-2020-1938） - 2

    目录1．漏洞简介2、AJP13协议介绍Tomcat主要有两大功能：3．Tomcat远程文件包含漏洞分析4．漏洞复现 5、漏洞分析6．RCE实现的原理1．漏洞简介2020年2月20日，公开CNVD的漏洞公告中发现ApacheTomcat文件包含漏洞（CVE-2020-1938）。ApacheTomcat是Apache开源组织开发的用于处理HTTP服务的项目。ApacheTomcat服务器中被发现存在文件包含漏洞，攻击者可利用该漏洞读取或包含Tomcat上所有webapp目录下的任意文件。该漏洞是一个单独的文件包含漏洞，依赖于Tomcat的AJP（定向包协议）。AJP自身存在一定缺陷，导致存在可控

  2. ruby - 可以正常中断的来自 Rake 的长时间运行的 shell 命令？ - 2

    在几个项目中，我希望有一个类似rakeserver的rake任务，它将通过任何需要的方式开始为该应用程序提供服务。这是一个示例:task:serverdo%x{bundleexecrackup-p1234}end这行得通，但是当我准备停止它时，按Ctrl+c并没有正常关闭；它中断了Rake任务本身，它说rakeaborted!并给出堆栈跟踪。在某些情况下，我必须执行Ctrl+c两次。我可能可以用Signal.trap写一些东西来更优雅地中断它。有没有更简单的方法？ 最佳答案 trap('SIGINT'){puts"Yourmessa

  3. ruby - Sinatra 中的全局救援和日志记录异常 - 2

    如何在出现异常时指定全局救援，如果您将Sinatra用于API或应用程序，您将如何处理日志记录？ 最佳答案 404可以在not_found方法的帮助下处理，例如:not_founddo'Sitedoesnotexist.'end500s可以通过调用带有block的错误方法来处理，例如:errordo"Applicationerror.Plstrylater."end错误的详细信息可以通过request.env中的sinatra.error访问，如下所示:errordo'Anerroroccured:'+request.env['si

  4. ruby-on-rails - 使用 Ruby 标准 Logger 每天只创建一个日志 - 2

    我正在使用ruby​​标准记录器，我想要每天轮换一次，所以在我的代码中我有:Logger.new("#{$ROOT_PATH}/log/errors.log",'daily')它运行完美，但它创建了两个文件errors.log.20130217和errors.log.20130217.1。如何强制它每天只创建一个文件？ 最佳答案 您的代码对于长时间运行的应用程序是正确的。发生的事情是您在给定的一天多次运行代码。第一次运行时，Ruby会创建一个日志文件“errors.log”。当日期改变时，Ruby将文件重命名为“errors.log

  5. ruby - Cucumber/Savon 省略或删除日志输出 - 2

    在运行Cucumber测试时，我得到(除了测试结果)大量调试/日志相关的输出形式:D,[2013-03-06T12:21:38.911829#49031]DEBUG--:SOAPrequest:D,[2013-03-06T12:21:38.911919#49031]DEBUG--:Pragma:no-cache,SOAPAction:"",Content-Type:text/xml;charset=UTF-8,Content-Length:1592W,[2013-03-06T12:21:38.912360#49031]WARN--:HTTPIexecutesHTTPPOSTusingt

  6. ruby-on-rails - faraday如何设置日志级别 - 2

    我最近将我的http客户端切换到faraday，一切都按预期工作。我有以下代码来创建连接:@connection=Faraday.new(:url=>base_url)do|faraday|faraday.useCustim::Middlewarefaraday.request:url_encoded#form-encodePOSTparamsfaraday.request:jsonfaraday.response:json,:content_type=>/\bjson$/faraday.response:loggerfaraday.adapterFaraday.default_ada

  7. ruby - ruby 中的同一个程序如何接受来自用户的输入以及命令行参数 - 2

    我的ruby​​脚本从命令行参数获取某些输入。它检查是否缺少任何命令行参数，然后提示用户输入。但是我无法使用gets从用户那里获得输入。示例代码:test.rbname=""ARGV.eachdo|a|ifa.include?('-n')name=aputs"Argument:#{a}"endendifname==""puts"entername:"name=getsputsnameend运行脚本:rubytest.rbraghav-k错误结果:test.rb:6:in`gets':Nosuchfileordirectory-raghav-k(Errno::ENOENT)fromtes

  8. ruby-on-rails - Rails 3，在RAILS_ROOT上方显示来自本地文件系统的jpg图片 - 2

    我正在尝试找出一种方法来显示来自不在RAILS_ROOT下(在RedHat或Ubuntu环境中)的已安装文件系统的图像。我不想使用符号链接(symboliclink)，因为这个应用程序实际上是通过Tomcat部署的，而当我关闭Tomcat时，Tomcat会尝试跟随符号链接(symboliclink)并删除挂载中的所有图像。由于这些文件的数量和大小，将图像放在public/images下也不是一种选择。我查看了send_file，但它只会显示一张图片。我需要在一个格式良好的页面中显示6个请求的图像。由于膨胀，我宁愿不使用Base64编码，但我不知道如何将图像数据与呈现的页面一起传递下去。

  9. ruby - Rails Elasticsearch 聚合 - 2

    不知何故，我似乎无法获得包含我的聚合的响应...使用curl它按预期工作:HBZUMB01$curl-XPOST"http://localhost:9200/contents/_search"-d'{"size":0,"aggs":{"sport_count":{"value_count":{"field":"dwid"}}}}'我收到回复:{"took":4,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":90,"max_score":0.0,"hits":[]},"a

  10. ruby-on-rails - Ruby Integer()、Array() 等——它们是什么？他们来自哪里？ - 2

    我有时遇到过Array(value)、String(value)和Integer(value)形式的转换。在我看来，这些只是调用相应的value.to_a、value.to_s或value.to_i方法的语法糖。所以我想知道:这些是在哪里/如何定义的？我在对象、模块、类等中找不到它们是否有任何常见场景更适合使用这些而不是相应/底层的to_X方法？这些可以用于泛型强制转换吗？也就是说，我可以按照[Integer,String,Array].each{|klass|klass.do_generic_coercion(foo)}?(...不，我真的不想那样做；我知道我想要的类型，但我希望避免

随机推荐