草庐IT

【Docker】docker安装elasticsearch集群,Kibana安装以及开启认证

Jude_lo 2024-02-23 原文

提示:

文章目录


前言


提示:以下是本篇文章正文内容,下面案例可供参考

一、Elasticsearch是什么?


二、Elasticsearch安装步骤

1.环境配置

服务器配置

192.168.100.21
192.168.100.22
192.168.100.23

2.系统配置修改

vim /etc/sysctl.conf
vm.max_map_count=655360
sysctl -p /etc/sysctl.conf/

3.拉取镜像

可以直接从docker仓库拉取镜像

#es镜像
docker pull elasticsearch:7.17.3
#kibana镜像
docker pull kibana:7.17.3

也可以导入镜像,可忽略

docker load < es.tar

4.创建挂载目录并赋权

mkdir /mnt/es/config
mkdir /mnt/es/data
mkdir /mnt/es/logs
mkdir /mnt/es/plugins
chmod -R 777 /mnt/es/

5.安装获取elastic-certificates.p12文件

elastic-certificates.p12

  • 创建es容器

其中,9300端口为集群内部通讯端口
9200为程序使用es端口

docker run -e ES_JAVA_OPTS="-Xms3g -Xmx3g"   \
-d --name es -p 9200:9200 -p 9300:9300  \ 
-v /mnt/es/logs:/user/share/elasticsearch/logs \
elasticsearch:7.17.3
  • 进入容器
docker exec -it es /bin/bash

  • 执行下面命令,生成新文件 elastic-stack-ca.p12文件,系统会提示生成名称和密码,可直接回车跳过,无需输入。
./bin/elasticsearch-certutil.bat ca
  • 执行下面命令,elastic-certificates.p12文件(所需文件),系统会提示生成名称和密码,可直接回车跳过,无需输入。
./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
  • 拷贝文件至宿主机
docker cp es:/usr/share/elasticsearch/elastic-certificates.p12 /mnt/es/config/cert
  • 拷贝cert目录及文件拷贝至另外两台节点服务器

  • 删除刚创建的es容器

docker rm -f es

三、安装es

1.配置elasticsearch.yml文件

此处需注意两点:

  • discovery.zen.ping.unicast.hosts配置为集群的节点地址,9300为为通讯端口
  • 每一个节点","之后留一个空格,否则集群可能查询不到其他节点
# ======================== Elasticsearch Configuration =========================
# 配置es的集群名称,es会自动发现在同一网段下的es,如果在同一网段下有多个集群,就可以用这个属性来区分不同的集群
cluster.name: elasticsearch
# 节点名称
node.name: node-23
# 指定该节点是否有资格被选举成为node
node.master: true
# 指定初始主节点
cluster.initial_master_nodes: ["192.168.100.23:9300"]
# 指定该节点是否存储索引数据,默认为true
node.data: true
# 设置绑定的ip地址还有其他节点和该节点交换的ip地址,本机ip
network.host: 0.0.0.0
network.publish_host: 192.168.100.23
# 指定http端口
http.port: 9200
# 设置节点间交互的tcp端口,默认是9300
transport.tcp.port: 9300
# 设置集群中master节点的初始列表,可以通过这些节点来自动发现新加入集群的节点
discovery.zen.ping.unicast.hosts: ["192.168.100.21:9300", "192.168.100.22:9300", "192.168.100.23:9300"]
# 连接集群超时时间
discovery.zen.ping_timeout: 120s
# discovery.zen.fd合理的设置可以避免正常机器重启造成的数据迁移
# 单次心跳检测ping超时时间
discovery.zen.fd.ping_timeout: 60s
# 多少次心跳检测失败才认为节点丢失
discovery.zen.fd.ping_retries: 3
# 集群机器间机器定时心跳检测时间
discovery.zen.fd.ping_interval: 30s
# 如果要使用head,那么需要解决跨域问题,使head插件可以访问es
http.cors.enabled: true
http.cors.allow-origin: "*"

#节点数分片最大数限制
cluster.max_shards_per_node: 100000


# 加密节点间通信-每个节点容器都要添加
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate   #只验证证书是否受信任,不执行主机名验证。还可以设置成 full(还要验证主机名)、none(不验证证书)
xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/elastic-certificates.p12    #指定证书
xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/elastic-certificates.p12   #将密钥存储库也用做信任存储库
xpack.security.transport.ssl.truststore.type: PKCS12
xpack.security.transport.ssl.keystore.type: PKCS12

elasticsearch.yml文件复制至各个节点服务器对行的config目录下,修改如下几个配置:

# 节点名称
node.name: node-22
# 设置绑定的ip地址还有其他节点和该节点交换的ip地址,本机ip
network.publish_host: 192.168.100.22
# 节点名称
node.name: node-21
# 设置绑定的ip地址还有其他节点和该节点交换的ip地址,本机ip
network.publish_host: 192.168.100.21

2.启动docker容器

docker run -d --name es -p 9200:9200 -p 9300:9300 -e "ES_JAVA_OPTS=-Xms3g -Xmx3g" \
-v /mnt/es/data:/usr/share/elasticsearch/data \ 
-v /mnt/es/plugins:/usr/share/elasticsearch/plugins \ 
-v /mnt/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \ 
-v /mnt/es/config/cert/elastic-certificates.p12:/usr/share/elasticsearch/config/elastic-certificates.p12 \ 
-v /mnt/es/logs:/user/share/elasticsearch/logs --restart=always  \
 elasticsearch:7.17.3

此处执行顺序
优先启动master节点容器,再启动其他容器节点,顺序不能错误!

3.帐号密码设置

  • 进入主节点容器中进行设置,其他节点未测试是否可行
docker exec -it es /bin/bash
  • 设置帐号密码,自行选择自动生成或者手动设置
#自动生成密码
./bin/elasticsearch-setup-passwords auto
#手动设置密码
./bin/elasticsearch-setup-passwords interactive

执行后会自动生成密码

Changed password for user apm_system
PASSWORD apm_system = {密码}

Changed password for user kibana_system
PASSWORD kibana_system = {密码}

Changed password for user kibana
PASSWORD kibana = {密码}

Changed password for user logstash_system
PASSWORD logstash_system = {密码}

Changed password for user beats_system
PASSWORD beats_system = {密码}

Changed password for user remote_monitoring_user
PASSWORD remote_monitoring_user = {密码}

Changed password for user elastic
PASSWORD elastic = {密码}

验证

谷歌浏览器中安装elasticsearch-head插件可以直接连接集群,输入密码后展示如下页面即为安装成功!

四、安装Kibana

1.创建挂载目录

mkdir /mnt/kibana/config -p

2.创建挂载文件

vi kibana.yml
server.host: "0.0.0.0"
server.shutdownTimeout: "5s"
#集群
elasticsearch.hosts: [ "http://192.168.100.23:9200", "http://192.168.100.22:9200/", "http://192.168.100.21:9200/" ]
monitoring.ui.container.elasticsearch.enabled: true
#elasticsearch中用户名和密码
elasticsearch.username: "kibana_system"
elasticsearch.password: "JNeepMbbA0inbAI8voK3"
#设置kibana中文显示
i18n.locale: zh-CN

3.启动Docker容器

 docker run -d --name=kibana -p 5601:5601 \
 --restart=always  -m 512m  --memory-swap=1024m  \
 -v /mnt/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml  \
  kibana:7.17.3

4.登录

浏览器中输入http://192.168.100.23:5601/,进入kibana页面进行登录即可操作


总结

以上就是Elasticsearch完整安装教程!

有关【Docker】docker安装elasticsearch集群,Kibana安装以及开启认证的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库,所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  3. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序,但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目,就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身,只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导,因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身,并查看脚本https://raw.github.com/wayn

  4. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常,我可以创建项目。但是在我输入“railsnew”时重新启动后,我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  5. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么? 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过,它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  6. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer,但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  7. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止,这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  8. ruby - 如何在 Lion 上安装 Xcode 4.6,需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby,并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  9. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题,我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  10. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

随机推荐