草庐IT

记录一次es的性能调优

shuaibo.wang|王帅博 2024-05-03 原文

文章目录

es性能调优

成都的es集群经常出现告警，查看日志发现

[gc][11534155] overhead, spent [38.3s] collecting in the last [38.6s]

这是 JVM 垃圾回收过程中的一条日志，表示在最近 38.6 秒内，JVM 进行了一次 GC (Garbage Collection) 的操作，回收垃圾所占用的内存。这条日志的含义是，在这次 GC 中，有很大一部分时间（38.3 秒）是用于处理 GC 相关的开销（例如标记垃圾、整理内存等），而不是实际回收垃圾。

这可能是因为堆内存中的对象数量太多，导致 GC 操作变得缓慢。可以尝试通过调整 JVM 的垃圾回收策略、调整堆内存大小等方式来优化性能。

这里谈谈jvm的垃圾回收策略

  • -XX:+UseSerialGC：使用串行垃圾回收器；
  • -XX:+UseParallelGC：使用并行垃圾回收器；
  • -XX:+UseParallelOldGC：使用并行老年代垃圾回收器；
  • -XX:+UseConcMarkSweepGC：使用CMS垃圾回收器；
  • -XX:+UseG1GC：使用G1垃圾回收器；
  • -XX:NewRatio：新生代和老年代的比例；
  • -XX:SurvivorRatio：Eden区域和Survivor区域的比例；
  • -XX:MaxHeapSize：JVM最大堆内存大小。

一般来说，使用 G1 垃圾收集器可能比较适合 Elasticsearch。G1 是一种面向服务端应用的低延迟、高吞吐量垃圾回收器，可以根据内存使用情况动态地调整堆内存的分配比例，并且不会出现长时间的停顿。

下面是g1垃圾回收器的常用参数

  • -XX:+UseG1GC：启用G1垃圾回收器。
  • -XX:G1HeapRegionSize=n：指定每个Heap区域的大小，可以控制最小的内存分配单元。
  • -XX:MaxGCPauseMillis=n：指定期望的最大GC停顿时间（毫秒）。
  • -XX:G1NewSizePercent=n：指定新生代大小相对于堆大小的百分比。
  • -XX:G1MaxNewSizePercent=n：指定新生代最大大小相对于堆大小的百分比。
  • -XX:G1ReservePercent=n：指定保留的空间百分比，以便在需要时可以快速分配内存。
  • -XX:InitiatingHeapOccupancyPercent=n：指定当堆被占用的比例达到指定阈值时，启动并发标记周期。-
  • -XX:G1HeapWastePercent=n：指定堆中允许浪费的最大空间百分比。

除了垃圾回收器的选择之外，还可以调整 Elasticsearch 的垃圾回收策略参数。例如，可以调整堆内存的大小、垃圾回收的线程数、垃圾回收的阈值等参数，以达到更好的垃圾回收效果。具体的调整方法可以参考 Elasticsearch 的官方文档，以及相关的调优指南。

启用g1垃圾回收器

要在 Elasticsearch 6.3.2 中启用 G1 垃圾回收器，需要进行以下步骤(将其他垃圾回收器关掉)：

编辑 Elasticsearch 的 JVM 配置文件 config/jvm.options，加入以下参数：

-XX:+UseG1GC
-XX:G1ReservePercent=25
-XX:InitiatingHeapOccupancyPercent=30
-XX:MaxGCPauseMillis=200
-XX:+ParallelRefProcEnabled
-XX:-OmitStackTraceInFastThrow

其中，-XX:+UseG1GC 启用 G1 垃圾回收器，其余参数用于优化 G1 的性能和行为。

确认 Elasticsearch 进程的运行用户并给予该用户对 Elasticsearch 安装目录及其子目录的读写权限。

记录一次回收器xffxff0celasticsearchjvmjava

有关记录一次es的性能调优的更多相关文章

  1. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  2. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  3. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  4. ruby-on-rails - Rails 5 Active Record 记录无效错误 - 2

    我有两个Rails模型，即Invoice和Invoice_details。一个Invoice_details属于Invoice，一个Invoice有多个Invoice_details。我无法使用accepts_nested_attributes_forinInvoice通过Invoice模型保存Invoice_details。我收到以下错误:(0.2ms)BEGIN(0.2ms)ROLLBACKCompleted422UnprocessableEntityin25ms(ActiveRecord:4.0ms)ActiveRecord::RecordInvalid(Validationfa

  5. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  6. ES基础入门 - 2

    ES一、简介1、ElasticStackES技术栈：ElasticSearch：存数据+搜索；QL；Kibana：Web可视化平台，分析。LogStash：日志收集，Log4j:产生日志；log.info(xxx)。。。。使用场景：metrics：指标监控…2、基本概念Index（索引）动词：保存（插入）名词：类似MySQL数据库，给数据Type（类型）已废弃，以前类似MySQL的表现在用索引对数据分类Document（文档）真正要保存的一个JSON数据{name:"tcx"}二、入门实战{"name":"DESKTOP-1TSVGKG","cluster_name":"elasticsear

  7. ruby-on-rails - 事件记录 : Select max of limit - 2

    我正在尝试将以下SQL查询转换为ActiveRecord，它正在融化我的大脑。deletefromtablewhereid有什么想法吗？我想做的是限制表中的行数。所以，我想删除少于最近10个条目的所有内容。编辑:通过结合以下几个答案找到了解决方案。Temperature.where('id这给我留下了最新的10个条目。 最佳答案 从您的SQL来看，您似乎想要从表中删除前10条记录。我相信到目前为止的大多数答案都会如此。这里有两个额外的选择:基于MurifoX的版本:Table.where(:id=>Table.order(:id).

  8. ruby-on-rails - Rake 任务仅调用一次时执行两次 - 2

    我写了一个非常简单的rake任务来尝试找到这个问题的根源。namespace:foodotaskbar::environmentdoputs'RUNNING'endend当在控制台中执行rakefoo:bar时，输出为:RUNNINGRUNNING当我执行任何rake任务时会发生这种情况。有没有人遇到过这样的事情？编辑上面的rake任务就是写在那个.rake文件中的所有内容。这是当前正在使用的Rakefile。requireFile.expand_path('../config/application',__FILE__)OurApp::Application.load_tasks这里

  9. Ruby 守护进程导致 ActiveRecord 记录器 IOError - 2

    我目前正在用Ruby编写一个项目，它使用ActiveRecordgem进行数据库交互，我正在尝试使用ActiveRecord::Base.logger记录所有数据库事件具有以下代码的属性ActiveRecord::Base.logger=Logger.new(File.open('logs/database.log','a'))这适用于迁移等(出于某种原因似乎需要启用日志记录，因为它在禁用时会出现NilClass错误)但是当我尝试运行包含调用ActiveRecord对象的线程守护程序的项目时脚本失败并出现以下错误/System/Library/Frameworks/Ruby.frame

  10. ruby - 我怎样才能只写一次 "Text"并同时检查 path_info 是否包含 'A' ？ - 2

    -if!request.path_info.include?'A'%{:id=>'A'}"Text"-else"Text"“文本”写了两次。我怎样才能只写一次并同时检查path_info是否包含“A”？ 最佳答案 有两种方法可以做到这一点。使用部分，或使用content_forblock:如果“文本”较长，或者是一个重要的子树，您可以将其提取到一个部分。这会使您的代码变干一点。在给出的示例中，这似乎有点矫枉过正。在这种情况下更好的方法是使用content_forblock，如下所示:-if!request.path_info.inc

随机推荐