草庐IT

Elasticsearch 6 重要参数配置

数据库干货铺 2023-03-28 原文

采用zip或tar.gz的二进制包方式安装的ES，需要配置一系列参数，通过阅读官方文档了解到其中重要参数的配置及其说，下面将逐步进行了解。

一、 ElasticSearch参数配置

1、data和logs路径配置

如果使用.zip或.tar.gz归档文件，则数据和日志目录是$ES_HOME的子文件夹。如果这些重要的文件夹保留在它们的默认位置，则在将Elasticsearch升级到新版本时，删除它们的风险很高，建议进行修改

path:

logs: /var/log/elasticsearch

data: /var/data/elasticsearch

其中 data目录可以设置多个路径：

path:

data:

- /mnt/elasticsearch_1

- /mnt/elasticsearch_2

- /mnt/elasticsearch_3

2、集群名称

默认的集群名称均为elasticsearch,如有多套集群，则必须修改。

cluster.name: syslogs-dev

3、节点名称

默认情况下，Elasticsearch将使用随机生成的UUID的前七个字符作为节点id。请注意，节点id是持久化的，在节点重启时不会更改，因此默认的节点名称也不会更改。建议配置一个更有意义的名称，它还具有在重新启动节点后持久化的优点。

node.name: syslogs-data-2

或者用主机名（hostname）作为节点名

node.name: prod-data-2

4、network.host

默认情况下，Elasticsearch只绑定到环回地址，例如。127.0.0.1 (::1)。但此配置只能在同一服务器上运行单个节点。为了在其他服务器上形成具有节点的集群，节点需要绑定到一个非环回地址。虽然有许多网络设置，但通常只需要配置network.host。

network.host: 192.168.1.10

5、发现方式设置

Elasticsearch使用名为“Zen discovery”的自定义发现实现节点到节点的集群选择。生产上，应该配置两个重要的发现设置：

discovery.zen.ping.unicast.hosts:
- 192.168.1.10:9300
- 192.168.1.11
- seeds.mydomain.com
discovery.zen.minimum_master_nodes: 2

其中，discovery.zen.ping.unicast.hosts 可以设置为ip:port 、ip(使用默认端口时)、域名（可解析的）其中任意一种均可；discovery.zen.minimum_master_nodes 设置的值建议设置为 (master_eligible_nodes / 2) + 1。

6. 堆大小设置

默认情况下，Elasticsearch告诉JVM使用大小为最小和最大1 GB的堆。在 jvm.options 文件里 通过Xms(最小堆大小)和Xmx(最大堆大小)设置的选项。通常设置规则如下：

a)让最小堆大小(Xms)和最大堆大小(Xmx)相等；
b)Elasticsearch可用的堆越多，用于缓存的内存就越多。但是请注意，过多的堆会导致长时间的垃圾收集暂停；
c)将Xmx设置为不超过物理RAM的50%，以确保有足够的物理RAM留给内核文件系统缓存;
d)不要将Xmx设置为JVM用于压缩对象指针的截止值之上(压缩的oops);确切的界限有所不同，但接近32 GB。

例如：

-Xms2g

-Xmx2g

还可以通过环境变量设置堆大小，例如，通过ES_JAVA_OPTS设置这些值

ES_JAVA_OPTS="-Xms2g -Xmx2g" ./bin/elasticsearch

ES_JAVA_OPTS="-Xms4000m -Xmx4000m" ./bin/elasticsearch

7、JVM堆转储路径

可以在 jvm.options 中的 -XX:HeapDumpPath=...进行配置，如果指定一个目录，JVM将根据运行实例的PID为堆转储生成一个文件名。如果指定一个固定的文件名而不是目录，那么当JVM需要对内存不足异常执行堆转储时，该文件必须不存在，否则堆转储将失败。

8、GC 日志

默认情况下，Elasticsearch启用GC日志。这些都是在jvm中配置的。选项并默认为与Elasticsearch日志相同的默认位置。默认配置每64 MB旋转一次日志，最多可以消耗2 GB的磁盘空间。

9、temp路径

默认情况下，Elasticsearch使用一个私有临时目录，启动脚本在系统临时目录下创建该临时目录,默认情况为/tmp。但如果最近没有访问/tmp中的文件和目录，系统实用程序将清除这些文件和目录。但是，如果您打算在Linux上长时间运行.tar.gz发行版，那么应该考虑为Elasticsearch创建一个专用的临时目录，而不是在清除旧文件和目录的路径下。这个目录应该设置权限，这样只有运行Elasticsearch的用户才能访问它。然后，在开始Elasticsearch之前，将$ES_TMPDIR环境变量设置为指向它。

10、JVM致命错误日志

默认情况下，Elasticsearch配置JVM将致命错误日志写入默认日志目录/var/log/elasticsearch。如果此路径不适合接收日志，则应修改jvm.options 条目-XX:ErrorFile=…。

二、 重要的系统参数配置

1、ulimit设置

建议设置为65535，修改的2种方式如下：

a) 修改/etc/security/limits.conf.文件。

elasticsearch - nofile 65536

b） root用户直接命令行修改。

sudo su

ulimit -n 65536

su elasticsearch

2、禁用swapping

a) 可以通过关闭swap方式防止使用swap,例如临时运行命令行处理。

sudo swapoff -a

要永久禁用它，您需要编辑/etc/fstab文件并注释掉包含swap的任何行。

b) Linux系统上的另一个方式修改vm.swappiness为1。这减少了内核交换的趋势，并且在正常情况下不应该导致交换，同时仍然允许整个系统在紧急情况下交换。

c）在Linux/Unix系统上使用mlockall，或者在Windows上使用VirtualLock，尝试将进程地址空间锁定到RAM中，防止任何Elasticsearch内存被交换出去，这可以通过在config/elasticsearch.yml文件中配置一行来实现。

bootstrap.memory_lock: true

3、系统控制文件设置

Elasticsearch默认使用mmapfs目录存储索引。默认操作系统对mmap计数的限制可能太低，这可能导致内存异常。修改方式如下：

a) 修改 /etc/sysctl.conf文件。

系统控制文件是管理系统中的各种资源控制的配置文件。ES需要开辟一个65536字节以上空间的虚拟内存。Linux默认不允许任何用户和应用直接开辟虚拟内存。
新增内容为：

vm.max_map_count=262144

使用命令： sysctl -p 让系统控制权限配置生效。

b) root用户下命令行方式临时设置。

sysctl -w vm.max_map_count=262144

4、线程数设置

Elasticsearch为不同类型的操作使用不同的线程池。需要确保Elasticsearch用户可以创建的线程数至少为4096。可以用如下方式设置：

修改/etc/security/limits.d/90-nproc.conf 设置为 4096。

* soft nproc 4096

root soft nproc unlimited

5、DNS cache设置

在 JVM options中设置es.networkaddress.cache.ttl 和 es.networkaddress.cache.negative.ttl，默认为60s和10s。

Elasticsearch重要sectionspanstyle开发前端$二进制包ES

有关Elasticsearch 6 重要参数配置的更多相关文章

  1. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  2. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码，如下所示:Something.createdo|x|x.foo=barend我想编写一个测试，它使用double代替block参数x，这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗？ 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  3. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式？ - 2

    我正在为一个项目制作一个简单的shell，我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止，我一直在使用CSV::parse_line，将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  4. ruby-on-rails - 独立 ruby​​ 脚本的配置文件 - 2

    我有一个在Linux服务器上运行的ruby​​脚本。它不使用rails或任何东西。它基本上是一个命令行ruby​​脚本，可以像这样传递参数:./ruby_script.rbarg1arg2如何将参数抽象到配置文件(例如yaml文件或其他文件)中？您能否举例说明如何做到这一点？提前谢谢你。 最佳答案 首先，您可以运行一个写入YAML配置文件的独立脚本:require"yaml"File.write("path_to_yaml_file",[arg1,arg2].to_yaml)然后，在您的应用中阅读它:require"yaml"arg

  5. ruby - 检查方法参数的类型 - 2

    我不确定传递给方法的对象的类型是否正确。我可能会将一个字符串传递给一个只能处理整数的函数。某种运行时保证怎么样？我看不到比以下更好的选择:defsomeFixNumMangler(input)raise"wrongtype:integerrequired"unlessinput.class==FixNumother_stuffend有更好的选择吗？ 最佳答案 使用Kernel#Integer在使用之前转换输入的方法。当无法以任何合理的方式将输入转换为整数时，它将引发ArgumentError。defmy_method(number)

  6. ruby-on-rails - 在默认方法参数中使用 .reverse_merge 或 .merge - 2

    两者都可以defsetup(options={})options.reverse_merge:size=>25,:velocity=>10end和defsetup(options={}){:size=>25,:velocity=>10}.merge(options)end在方法的参数中分配默认值。问题是:哪个更好？您更愿意使用哪一个？在性能、代码可读性或其他方面有什么不同吗？编辑:我无意中添加了bang(!)...并不是要询问nobang方法与bang方法之间的区别 最佳答案 我倾向于使用reverse_merge方法:option

  7. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？ 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  8. ruby - 定义方法参数的条件 - 2

    我有一个只接受一个参数的方法:defmy_method(number)end如果使用number调用方法，我该如何引发错误？？通常，我如何定义方法参数的条件？比如我想在调用的时候报错:my_method(1) 最佳答案 您可以添加guard在函数的开头，如果参数无效则引发异常。例如:defmy_method(number)failArgumentError,"Inputshouldbegreaterthanorequalto2"ifnumbereputse.messageend#=>Inputshouldbegreaterthano

  9. ruby - rails 3 redirect_to 将参数传递给命名路由 - 2

    我没有找到太多关于如何执行此操作的信息，尽管有很多关于如何使用像这样的redirect_to将参数传递给重定向的建议:action=>'something',:controller=>'something'在我的应用程序中，我在路由文件中有以下内容match'profile'=>'User#show'我的表演Action是这样的defshow@user=User.find(params[:user])@title=@user.first_nameend重定向发生在同一个用户Controller中，就像这样defregister@title="Registration"@user=Use

  10. ruby - 字符串文字中的转义状态作为 `String#tr` 的参数 - 2

    对于作为String#tr参数的单引号字符串文字中反斜杠的转义状态，我觉得有些神秘。你能解释一下下面三个例子之间的对比吗？我特别不明白第二个。为了避免复杂化，我在这里使用了'd'，在双引号中转义时不会改变含义("\d"="d")。'\\'.tr('\\','x')#=>"x"'\\'.tr('\\d','x')#=>"\\"'\\'.tr('\\\d','x')#=>"x" 最佳答案 在tr中转义tr的第一个参数非常类似于正则表达式中的括号字符分组。您可以在表达式的开头使用^来否定匹配(替换任何不匹配的内容)并使用例如a-f来匹配一

随机推荐