草庐IT

ElasticSearch集群部署系统参数配置调优

smileNicky 2023-09-01 原文

内存基本要求

参考书籍:[Elasticsearch: 权威指南]节选https://www.elastic.co/guide/cn/elasticsearch/guide/current/hardware.html

进程数和文件句柄数配置

使用命令查看：

vi /etc/security/limits.conf


如果没配置，在文件的后面加上配置

* soft nproc 131072
* hard nproc 131072
* soft nofile 131072
* hard nofile 131072

第一列表示用户，*表示所有的用户

  • soft xxx：表示警告的设定，可以超过这个设定的值，但是超过后会有警告
  • hard xxx：表示严格的设定，不允许超过设定的值
  • nproc：每个用户创建进程数的限制
  • nofile：每个进程可以打开的文件数限制
  • soft nproc：单个用户最大进程数量，超过会警告
  • hard nproc：单个用户最大进程数量，超过会报错
  • soft nofile：可以打开的文件最大数，超过会警告
  • hard nofile：可以打开的文件最大数，超过会报错

举例：soft 设为1024，hard设为2048，当你使用数在1到1024之间时可以随便使用，1024到2048时会出现警告信息，大于2048时会直接报错

注意：

  • 一般soft的值会比hard小，也可以设置为相等
  • /etc/security/limits.d/ 里面配置会覆盖/etc/security/limits.conf 的配置
    只有root用户才有权限修改/etc/security/limits.conf
    limits.conf没有做设定，则默认值是1024

虚拟内存设置

操作系统的默认mmap count限制是很低的，可能会导致内存不足的异常。所以需要根据需要修改参数

临时配置：

sysctl -w vm.max_map_count=262144

永久配置，找到配置文件

vi /etc/sysctl.conf

进行配置，在文件后面加上


# 设置虚拟内存大小
vm.max_map_count=262144

验证修改的配置：

sysctl -a|grep vm.max_map_count

如果未生效，重新加载配置文件：

sysctl -p

swap分区设置

swap分区是内存不够用的时候，将部分内存上的数据交换到swap空间，以便让系统不会因为内存不够用而导致oom问题

如果要临时禁用swap

swapoff -a

要永久性禁用swap，需要修改/etc/fstab文件，然后将所有包含swap的行注释

另外一种方法就是通过 /etc/sysctl.conf，将vm.swappiness设置为1，这可以尽量减少Linux内核swap的倾向，在正常的情况下，不会进行swap，但是在紧急情况下，还是会进行swap操作。

# 禁用内存和磁盘交换
vm.swappiness=1

注意：如果设置vm.swappiness为0，表示完全不会swap，在内存不够用时，也不会进行交换

这个配置可以根据需要进行配置，在使用ES时候，可以设置为1，提高性能

如果频繁的将ES进程的内存swap到磁盘，肯定会影响性能，内存的操作都是要求快速完成的，如果内存被swap到了磁盘，会影响系统性能

ElasticSearch集群codespanxff0clinuxjava

有关ElasticSearch集群部署系统参数配置调优的更多相关文章

  1. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  2. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码，如下所示:Something.createdo|x|x.foo=barend我想编写一个测试，它使用double代替block参数x，这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗？ 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  3. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式？ - 2

    我正在为一个项目制作一个简单的shell，我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止，我一直在使用CSV::parse_line，将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  4. ruby-on-rails - 独立 ruby​​ 脚本的配置文件 - 2

    我有一个在Linux服务器上运行的ruby​​脚本。它不使用rails或任何东西。它基本上是一个命令行ruby​​脚本，可以像这样传递参数:./ruby_script.rbarg1arg2如何将参数抽象到配置文件(例如yaml文件或其他文件)中？您能否举例说明如何做到这一点？提前谢谢你。 最佳答案 首先，您可以运行一个写入YAML配置文件的独立脚本:require"yaml"File.write("path_to_yaml_file",[arg1,arg2].to_yaml)然后，在您的应用中阅读它:require"yaml"arg

  5. ruby - 检查方法参数的类型 - 2

    我不确定传递给方法的对象的类型是否正确。我可能会将一个字符串传递给一个只能处理整数的函数。某种运行时保证怎么样？我看不到比以下更好的选择:defsomeFixNumMangler(input)raise"wrongtype:integerrequired"unlessinput.class==FixNumother_stuffend有更好的选择吗？ 最佳答案 使用Kernel#Integer在使用之前转换输入的方法。当无法以任何合理的方式将输入转换为整数时，它将引发ArgumentError。defmy_method(number)

  6. ruby-on-rails - 在默认方法参数中使用 .reverse_merge 或 .merge - 2

    两者都可以defsetup(options={})options.reverse_merge:size=>25,:velocity=>10end和defsetup(options={}){:size=>25,:velocity=>10}.merge(options)end在方法的参数中分配默认值。问题是:哪个更好？您更愿意使用哪一个？在性能、代码可读性或其他方面有什么不同吗？编辑:我无意中添加了bang(!)...并不是要询问nobang方法与bang方法之间的区别 最佳答案 我倾向于使用reverse_merge方法:option

  7. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？ 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  8. ruby - 定义方法参数的条件 - 2

    我有一个只接受一个参数的方法:defmy_method(number)end如果使用number调用方法，我该如何引发错误？？通常，我如何定义方法参数的条件？比如我想在调用的时候报错:my_method(1) 最佳答案 您可以添加guard在函数的开头，如果参数无效则引发异常。例如:defmy_method(number)failArgumentError,"Inputshouldbegreaterthanorequalto2"ifnumbereputse.messageend#=>Inputshouldbegreaterthano

  9. ruby-on-rails - 每次我尝试部署时，我都会得到 - (gcloud.preview.app.deploy) 错误响应 : [4] DEADLINE_EXCEEDED - 2

    我是Google云的新手，我正在尝试对其进行首次部署。我的第一个部署是RubyonRails项目。我基本上是在关注thisguideinthegoogleclouddocumentation.唯一的区别是我使用的是我自己的项目，而不是他们提供的“helloworld”项目。这是我的app.yaml文件runtime:customvm:trueentrypoint:bundleexecrackup-p8080-Eproductionconfig.ruresources:cpu:0.5memory_gb:1.3disk_size_gb:10当我转到我的项目目录并运行gcloudprevie

  10. ruby - rails 3 redirect_to 将参数传递给命名路由 - 2

    我没有找到太多关于如何执行此操作的信息，尽管有很多关于如何使用像这样的redirect_to将参数传递给重定向的建议:action=>'something',:controller=>'something'在我的应用程序中，我在路由文件中有以下内容match'profile'=>'User#show'我的表演Action是这样的defshow@user=User.find(params[:user])@title=@user.first_nameend重定向发生在同一个用户Controller中，就像这样defregister@title="Registration"@user=Use

随机推荐