草庐IT

Linux搭建ElasticSearch(ES)集群并设置密码登录

干运维的yds 2023-05-10 原文

1. 环境信息

操作系统:CentOS7或者Amazon Linux 2

内核架构:x86_64

ElasticSearch版本:6.8.10

JDK版本:8u351

本次搭建的3台服务器IP地址:

ES节点IP地址
es-node1172.16.1.21
es-node2172.16.1.22
es-node3172.16.1.23

安装目录:/data

2. 下载ES安装包

在3台服务器上各自下载tar.gz包:

wget  https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.10.tar.gz

也可以在官网中下载,下载地址Elasticsearch 6.8.10 | Elastic

 解压安装包至/data目录:

tar -zxvf elasticsearch-6.8.10.tar.gz -C /data

3. 安装JDK

在3台服务器上各自下载rpm包

JDK官网地址:

https://www.oracle.com/java/technologies/javase-jdk11-downloads.html

注意:需要登录Oracle才能下载,可以注册一个账号使用。

选择JAVA8中的Linux 64位的rpm包,点击下载

 将下载的JDK安装包上传至服务器/data/software目录,然后rpm直接安装JDK:

rpm -ivh /data/software/jdk-8u351-linux-x64.rpm

完成后输入java -version可以看到以下输出:

配置java环境变量:

vim /etc/profile

在末尾增加以下内容:

export JAVA_HOME=/usr/java/jdk1.8.0_351-amd64
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

wq保存退出后,输入命名生效:

source /etc/profile

3. 搭建ElasticSearch集群

解压完成后,ES的目录为/data/elasticsearch-6.8.10

创建数据目录、日志目录:

mkdir -p /data/elasticsearch-6.8.10/data
mkdir -p /data/elasticsearch-6.8.10/logs

配置修改

编辑elasticsearch.yml,开始修改ElasticSearch集群的配置,3台服务器上的配置不同。

vim /data/elasticsearch-6.8.10/config/elasticsearch.yml

其中,服务器1配置如下:

cluster.name: es-cluster    #集群名称
node.name: es-node1    #当前节点名称
node.master: true    #允许当前节点作为master主节点
node.data: true

path.data: /data/elasticsearch-6.8.10/data    #ES集群数据目录
path.logs: /data/elasticsearch-6.8.10/logs    #ES集群日志目录

network.host: 0.0.0.0    #配置0.0.0.0允许其他地址访问
http.port: 9200    #对外访问端口
transport.tcp.port: 9300
transport.tcp.compress: true

discovery.zen.ping.unicast.hosts: ["172.16.1.21", "172.16.1.22", "172.16.1.23"]    #集群的所有节点的IP地址
discovery.zen.minimum_master_nodes: 2    #集群正常运行的节点数量,一般为半数+1
discovery.zen.ping_timeout: 3s    #集群节点发现超时时间

http.cors.enabled: true    #允许跨域访问
http.cors.allow-origin: "*"

#以下配置用于设置密码访问ES集群,如不需要可以不用
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

服务器2配置如下:

cluster.name: es-cluster
node.name: es-node2    #节点名称,集群内各个节点名称唯一
node.master: true
node.data: true

path.data: /data/elasticsearch-6.8.10/data
path.logs: /data/elasticsearch-6.8.10/logs

network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
transport.tcp.compress: true

discovery.zen.ping.unicast.hosts: ["172.16.1.21", "172.16.1.22", "172.16.1.23"] 
discovery.zen.minimum_master_nodes: 2
discovery.zen.ping_timeout: 3s

http.cors.enabled: true
http.cors.allow-origin: "*"

#以下配置用于设置密码访问ES集群,如不需要可以不用
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

服务器3配置如下:

cluster.name: es-cluster
node.name: es-node3    #节点名称,集群内各个节点名称唯一
node.master: true
node.data: true

path.data: /data/elasticsearch-6.8.10/data
path.logs: /data/elasticsearch-6.8.10/logs

network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
transport.tcp.compress: true

discovery.zen.ping.unicast.hosts: ["172.16.1.21", "172.16.1.22", "172.16.1.23"] 
discovery.zen.minimum_master_nodes: 2
discovery.zen.ping_timeout: 3s

http.cors.enabled: true
http.cors.allow-origin: "*"

#以下配置用于设置密码访问ES集群,如不需要可以不用
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

其他配置修改,主要是修改jvm的运行内存大小,可以根据实际情况按需修改:

vim /data/elasticsearch-6.8.10/config/jvm.options

修改其中的以下两条,根据实际情况按需修改:

-Xms1g
-Xmx1g

系统参数修改:

vim /etc/security/limits.conf

在末尾增加以下内容:

*                soft    nofile          65536
*                hard    nofile          65536
*                soft    nproc           4096
*                hard    nproc           4096

修改/etc/sysctl.conf配置:

vim /etc/sysctl.conf
vm.max_map_count=655360

修改完成保存生效:

sysctl -p

运行用户创建

由于ES集群不允许root用户运行,需要创建ES运行用户:

# 创建用户组
groupadd es
# 创建用户并添加至用户组
useradd es -g es 
# 更改用户密码(输入 es)
passwd es

修改目录权限:

sudo chown -R es:es  /data/elasticsearch-6.8.10

切换用户:

su es

至此安装ElasticSearch集群就结束了,不需要开启密码访问的话,就可以直接启动3台服务器的ES集群服务了。

启动服务

cd /data/elasticsearch-6.8.10/bin
./elasticsearch -d    #-d是后台启动,第一次启动时可以不加-d,查看启动的日志情况

启动后输入jps可以查看到服务状态

3台节点都启动完成后,可以在浏览器访问http://节点IP地址:9200/_cat/health?v查看集群状态

 也可以直接访问http://节点IP地址:9200查看服务情况

开启密码访问

在服务器1上生成 TLS 和身份验证,将会在 config 下生成 elastic-certificates.p12 文件,将此文件传到其他两个节点的 config 目录,注意文件权限

cd /data/elasticsearch-6.8.10
bin/elasticsearch-certutil cert -out config/elastic-certificates.p12 -pass ""

将 config目录下的elastic-certificates.p12文件上传至其他2台服务器的config目录下。

重启ElasticSearch服务,3台服务器都需要执行:

jps    #查询ES服务进程号
kill -9 xxx    #杀掉ES进程,关闭服务

cd /data/elasticsearch-6.8.10/bin
./elasticsearch -d    #启动服务

设置密码,在服务器1上执行命令:

cd /data/elasticsearch-6.8.10
bin/elasticsearch-setup-passwords interactive

随后按照提示依次输入elastic、apm_system、kibana、logstash_system、beats_system、remote_monitoring_user这6个用户的密码,完成后数据会自动同步至其他2个节点。

再次在浏览器中访问ES,http://ip地址:9200,就可以看到需要用户名密码访问了。

有关Linux搭建ElasticSearch(ES)集群并设置密码登录的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby-openid:执行发现时未设置@socket - 2

    我在使用omniauth/openid时遇到了一些麻烦。在尝试进行身份验证时,我在日志中发现了这一点:OpenID::FetchingError:Errorfetchinghttps://www.google.com/accounts/o8/.well-known/host-meta?hd=profiles.google.com%2Fmy_username:undefinedmethod`io'fornil:NilClass重要的是undefinedmethodio'fornil:NilClass来自openid/fetchers.rb,在下面的代码片段中:moduleNetclass

  3. ruby-on-rails - 如何使用 instance_variable_set 正确设置实例变量? - 2

    我正在查看instance_variable_set的文档并看到给出的示例代码是这样做的:obj.instance_variable_set(:@instnc_var,"valuefortheinstancevariable")然后允许您在类的任何实例方法中以@instnc_var的形式访问该变量。我想知道为什么在@instnc_var之前需要一个冒号:。冒号有什么作用? 最佳答案 我的第一直觉是告诉你不要使用instance_variable_set除非你真的知道你用它做什么。它本质上是一种元编程工具或绕过实例变量可见性的黑客攻击

  4. ruby-on-rails - date_field_tag,如何设置默认日期? [ rails 上的 ruby ] - 2

    我想设置一个默认日期,例如实际日期,我该如何设置?还有如何在组合框中设置默认值顺便问一下,date_field_tag和date_field之间有什么区别? 最佳答案 试试这个:将默认日期作为第二个参数传递。youcorrectlysetthedefaultvalueofcomboboxasshowninyourquestion. 关于ruby-on-rails-date_field_tag,如何设置默认日期?[rails上的ruby],我们在StackOverflow上找到一个类似的问

  5. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器,但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型,并且只返回text/plain,如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

  6. ruby-on-rails - 有没有办法为 CarrierWave/Fog 设置上传进度指示器? - 2

    我在Rails应用程序中使用CarrierWave/Fog将视频上传到AmazonS3。有没有办法判断上传的进度,让我可以显示上传进度如何? 最佳答案 CarrierWave和Fog本身没有这种功能;你需要一个前端uploader来显示进度。当我不得不解决这个问题时,我使用了jQueryfileupload因为我的堆栈中已经有jQuery。甚至还有apostonCarrierWaveintegration因此您只需按照那里的说明操作即可获得适用于您的应用的进度条。 关于ruby-on-r

  7. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

  8. ES基础入门 - 2

    ES一、简介1、ElasticStackES技术栈:ElasticSearch:存数据+搜索;QL;Kibana:Web可视化平台,分析。LogStash:日志收集,Log4j:产生日志;log.info(xxx)。。。。使用场景:metrics:指标监控…2、基本概念Index(索引)动词:保存(插入)名词:类似MySQL数据库,给数据Type(类型)已废弃,以前类似MySQL的表现在用索引对数据分类Document(文档)真正要保存的一个JSON数据{name:"tcx"}二、入门实战{"name":"DESKTOP-1TSVGKG","cluster_name":"elasticsear

  9. objective-c - 在设置 Cocoa Pods 和安装 Ruby 更新时出错 - 2

    我正在尝试为我的iOS应用程序设置cocoapods但是当我执行命令时:sudogemupdate--system我收到错误消息:当前已安装最新版本。中止。当我进入cocoapods的下一步时:sudogeminstallcocoapods我在MacOS10.8.5上遇到错误:ERROR:Errorinstallingcocoapods:cocoapods-trunkrequiresRubyversion>=2.0.0.我在MacOS10.9.4上尝试了同样的操作,但出现错误:ERROR:Couldnotfindavalidgem'cocoapods'(>=0),hereiswhy:U

  10. ruby - 将对象设置为 nil 是否很常见? - 2

    我正在构建一个应用程序,想知道是否将未使用的对象设置为nil是生产级编码中的常见做法。我知道这只是垃圾收集器的提示,并不总是处理对象。 最佳答案 根据这个thread如果您使用完一个成员对象,将其设置为nil将引发被引用对象被垃圾回收。如果它是局部变量,方法exit将做同样的事情。也就是说,如果您要求将成员显式设置为nil,我会质疑您的设计。 关于ruby-将对象设置为nil是否很常见?,我们在StackOverflow上找到一个类似的问题: https://

随机推荐