草庐IT

详解如何查看Elasticsearch的Debug日志

sinat_40572875 2024-03-12 原文

正文

当我们遇到问题或者需要深入了解 Elasticsearch 的运行机制时，调整日志等级（ logging level ）到更详细的级别，比如 DEBUG、TRACE ，会是一个有效且必须要掌握的方法。

Elasticsearch 提供了如下的接口来支持动态变更 logging level，logger 后面是 package name 或者 class name。

1

2

3

4

5

6

7

8

PUT _cluster/settings

{

  "persistent": {

    "logger": {

      "org.elasticsearch.action": "DEBUG"

    }

  }

}

 当然，你也可以去修改配置目录下面的 log4j2.properties，然后重启节点，但这种方法太过笨重，建议你不要用。

如果后续想要调整回默认设置，操作也简单，如下所示：

1

2

3

4

5

6

7

8

PUT _cluster/settings

{

  "persistent": {

    "logger": {

      "org.elasticsearch.action": null

    }

  }

}

上面的示例只是指定了一个 logger，当然也可以在一次请求中设定多个 logger，如下所示：

1

2

3

4

5

6

7

8

9

10

PUT _cluster/settings

{

  "persistent": {

    "logger": {

      "_root": "INFO",

      "org.elasticsearch.action": "DEBUG",

      "org.elasticsearch.action.admin.cluster.health": "TRACE"

    }

  }

}

上面的设定中，调用者的意图可能如下：

  • root 的日志等级（默认所有 logger 的日志级别）设定为 INFO，虽然 log4j2.properties 中已经设定过了，保险起见，这里再指定一次。
  • 设定 org.elasticsearch.action 这个 package 下所有 logger 的日志级别都为 DEBUG，需要查看下 transport action 的执行日志。
  • 设定 org.elasticsearch.action.admin.cluster.health 这个 package 下所有 logger 的日志级别都为 TRACE，需要查看 Cluster Health 执行的更多日志。

但实际去运行时，Elasticsearch 并没有按照预期的结果去执行，没有相关 DEBUG 和 TRACE 级别的日志输出。这里直接给出原因和解决方案。

原因是 elasticsearch 在设定 logging level 时，会优先采用 _root 和 parent logger 的设定，这里和 log4j2.properties 中的设定有所差异。

上面的调用，最终结果是采用 _root 的设定，所有 logger 都是 INFO ，其他的设定都无效了。

解决方案如下，去除 _root 设定和 parent logger 的设定。

1

2

3

4

5

6

7

8

9

10

PUT _cluster/settings

{

  "persistent": {

    "logger": {

      "_root": null,

      "org.elasticsearch.action": null,

      "org.elasticsearch.action.admin.cluster.health": "TRACE"

    }

  }

}

下面就是源码分析了，感兴趣的可以继续看下去~

源码分析

相关实现逻辑在 ClusterSetting.LoggingSettingUpdater 里面，这里简单给下定位的思路，感兴趣的同学可以自己去翻下源码。

  • rest 请求的入口是 RestClusterUpdateSettingsAction，这里会转发请求到 master 节点
  • master 处理的入口是 TransportClusterUpdateSettingsAction，这里会去 update Cluster Setting，关键词为 updater.updateSettings。
  • 在 updateSettings的时候会调用所有的 ClusterSettingUpdater，Logging 就是其中之一。

apply setting 代码

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

for (String key : value.keySet()) {

    assert loggerPredicate.test(key);

    String component = key.substring("logger.".length());

    if ("level".equals(component)) {

        continue;

    }

    if ("_root".equals(component)) {

        final String rootLevel = value.get(key);

        if (rootLevel == null) {

            Loggers.setLevel(LogManager.getRootLogger(), Loggers.LOG_DEFAULT_LEVEL_SETTING.get(settings));

        } else {

            Loggers.setLevel(LogManager.getRootLogger(), rootLevel);

        }

    } else {

        Loggers.setLevel(LogManager.getLogger(component), value.get(key));

    }

}

浅显易懂，不废话，而且这里的逻辑看起来很正常，那么继续来看下 Loggers.setLevel代码。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

public static void setLevel(Logger logger, Level level) {

    if (!LogManager.ROOT_LOGGER_NAME.equals(logger.getName())) {

        Configurator.setLevel(logger.getName(), level);

    } else {

        final LoggerContext ctx = LoggerContext.getContext(false);

        final Configuration config = ctx.getConfiguration();

        final LoggerConfig loggerConfig = config.getLoggerConfig(logger.getName());

        loggerConfig.setLevel(level);

        ctx.updateLoggers();

    }

    // we have to descend the hierarchy

    final LoggerContext ctx = LoggerContext.getContext(false);

    for (final LoggerConfig loggerConfig : ctx.getConfiguration().getLoggers().values()) {

        if (LogManager.ROOT_LOGGER_NAME.equals(logger.getName()) || loggerConfig.getName().startsWith(logger.getName() + ".")) {

            Configurator.setLevel(loggerConfig.getName(), level);

        }

    }

}

最后的处理逻辑会在每个 logger 设定完成后，去重新刷一遍现有的 logger，应用 root 或者 parent logger 的设定。

顺着代码的修改记录，找到了当初的修改 PR 如下：

[https://github.com/elastic/el...]()

其中也描述了修改的原因：

Today when setting the logging level via the command-line or an API
call, the expectation is that the logging level should trickle down the
hiearchy to descendant loggers. However, this is not necessarily the
case. For example, if loggers x and x.y are already configured then
setting the logging level on x will not descend to x.y. This is because
the logging config for x.y has already been forked from the logging
config for x. Therefore, we must explicitly descend the hierarchy when
setting the logging level and that is what this commit does.

从这段描述看，当时要解决的问题是 x.y 没有继承 x logging level 的问题，所以加了这段显示继承的逻辑。

虽然这解决了继承的问题，但其行为本身与 log4j2.properties 中 logger 的修改逻辑就不一致了，难免带来困扰。

但考虑到这个配置是一个专家级别的配置，很少用户会使用，自己心里明白正确的使用方法就好了^_^

Elasticsearch详解codexff0cxff0log4j大数据

有关详解如何查看Elasticsearch的Debug日志的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  4. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  5. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  6. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  7. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  8. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  9. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据，就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理？我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题；这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML，但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中，将我的XML代码修改为

  10. ruby - 如何使用文字标量样式在 YAML 中转储字符串？ - 2

    我有一大串格式化数据(例如JSON)，我想使用Psychinruby​​同时保留格式转储到YAML。基本上，我希望JSON使用literalstyle出现在YAML中:---json:|{"page":1,"results":["item","another"],"total_pages":0}但是，当我使用YAML.dump时，它不使用文字样式。我得到这样的东西:---json:!"{\n\"page\":1,\n\"results\":[\n\"item\",\"another\"\n],\n\"total_pages\":0\n}\n"我如何告诉Psych以想要的样式转储标量？解

随机推荐