草庐IT

elk环境搭建

fengzhihai 2023-03-28 原文

一、说明

这篇文章是2020年6月份写在自己博客的，组件版本应该都比较低了。

二、组件

filebeat
kafka
zookeeper
elasticsearch
kibana

三、参考链接：

# 1 json在线解析
https://www.json.cn/
# 2 grok debug
http://grokdebug.herokuapp.com/
http://grokdebug.herokuapp.com/patterns
# 3 template接口
https://www.elastic.co/guide/en/elasticsearch/reference/6.8/indices-templates.html
# 4 elk官网指南
https://www.elastic.co/guide/index.html
https://www.elastic.co/

四、服务器

172.16.1.30 kc-log-01                            日志所在服务器
172.16.1.94 kc-online-log-platform-001   elasticsearch  kafka  zookeeper
172.16.1.93 kc-online-log-platform-002  elasticsearch  kafka  zookeeper
172.16.1.92 kc-online-log-platform-003  elasticsearch  kafka  zookeeper  kibana  logstash

五、JAVA JDK安装

# 1 获取java jdk安装包
[root@kc-online-log-platform-001 ~]# ls /opt/
elk  jdk1.8.0_211  kafka
# 2 配置环境变量
[root@kc-online-log-platform-001 ~]# cat /etc/profile.d/java.sh
export JAVA_HOME=/opt/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin
# 3 应用环境变量
[root@kc-online-log-platform-001 ~]# source /etc/profile.d/java.sh

六、目录结构

[root@kc-online-log-platform-001 elk]# ls /data/
elk  kafka  zk
[root@kc-online-log-platform-001 elk]# ls /data/elk/elasticsearch/
config  data
[root@kc-online-log-platform-001 elk]# ls /data/zk/
zkdatalog  zookeeper

七、elasticsearch集群搭建

# kc-online-log-platform-001
[root@kc-online-log-platform-001 elk]# cat docker-compose.yaml 
version: '3'
services:
  kclog-online-node03:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.8.0
    container_name: kclog-online-node03
    restart: always
    environment:
      - node.name=es-node-03
      - network.publish_host=172.16.1.94
      - network.host=0.0.0.0
      - discovery.seed_hosts=172.16.1.92,172.16.1.93,172.16.1.94
      - cluster.name=kc-log-center
      - cluster.initial_master_nodes=172.16.1.92,172.16.1.93,172.16.1.94
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms2048m -Xmx2048m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /data/elk/elasticsearch/data:/usr/share/elasticsearch/data
      - /data/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    ports:
      - 9200:9200
      - 9300:9300

# kc-online-log-platform-002
[root@kc-online-log-platform-002 ~]# cat /opt/elk/docker-compose.yaml 
version: '3'
services:
  kclog-online-node02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.8.0
    container_name: kclog-online-node02
    restart: always
    environment:
      - node.name=es-node-02
      - network.publish_host=172.16.1.93
      - network.host=0.0.0.0
      - discovery.seed_hosts=172.16.1.92,172.16.1.93,172.16.1.94
      - cluster.name=kc-log-center
      - cluster.initial_master_nodes=172.16.1.92,172.16.1.93,172.16.1.94
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms2048m -Xmx2048m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /data/elk/elasticsearch/data:/usr/share/elasticsearch/data
      - /data/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    ports:
      - 9200:9200
      - 9300:9300

# kc-online-log-platform-003
[root@kc-online-log-platform-003 ~]# cat /opt/elk/docker-compose.yaml 
version: '3'
services:
  kclog-online-node01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.8.0
    container_name: kclog-online-node01
    restart: always
    environment:
      - node.name=es-node-01
      - network.publish_host=172.16.1.92
      - network.host=0.0.0.0
      - discovery.seed_hosts=172.16.1.92,172.16.1.93,172.16.1.94
      - cluster.name=kc-log-center
      - cluster.initial_master_nodes=172.16.1.92,172.16.1.93,172.16.1.94
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms2048m -Xmx2048m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /data/elk/elasticsearch/data:/usr/share/elasticsearch/data
      - /data/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    ports:
      - 9200:9200
      - 9300:9300

# 上述三台服务器执行一下操作：
cd /opt/elk/
docker-compose up -d

八、常用api

# elasticsearch api
# 1 获取索引
curl 'localhost:9200/_cat/indices?v'
curl -ulogstash:jflogstash123 '172.18.238.3:9200/_cat/indices?'   带密码查询
# 2 创建索引
curl -XPUT 'localhost:9200/customer’
# 3 插入数据
curl -XPUT 'localhost:9200/customer/external/1'-d ' { "name": "John Doe”}'
# 4 查询数据
curl 'localhost:9200/customer/external/1'
# 5 删除索引
curl -XDELETE 'localhost:9200/customer'
# 6 查看已安装的插件
curl http://127.0.0.1:9200/_cat/plugins
# 7 查看索引信息
curl -XGET "http://localhost:9200/kc-online-log-2020.06.21/_mapping"
# 8 创建template 其中：kc_online_log_template为创建的template
curl -XPUT -H "Content-Type: application/json" "http://localhost:9200/_template/kc_online_log_template" -d ''
# 9 集群状态查看
curl 'localhost:9200/_cat/health?v
# 10 查看集群node
curl 'localhost:9200/_cat/nodes?v'

九、kafka+zookeeper集群

9.1、kc-online-log-platform-001

9.1.1、zookeeper

[root@kc-online-log-platform-001 config]# grep -v "^#\|^$" /opt/kafka/config/zookeeper.properties
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zk/zookeeper/
dataLogDir=/data/zk/zkdatalog/
clientPort=2181
maxClientCnxns=0
server.1=172.16.1.94:2888:3888
server.2=172.16.1.93:2888:3888
server.3=172.16.1.92:2888:3888
[root@kc-online-log-platform-001 config]# cat /data/zk/zookeeper/myid
1

9.1.2、kafka

[root@kc-online-log-platform-001 config]# cat /opt/kafka/config/server.properties
broker.id=0
listeners=PLAINTEXT://172.16.1.94:9092
host.name=172.16.1.94
port=9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-logs/
num.partitions=3
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=172.16.1.94:2181,172.16.1.93:2181,172.16.1.92:2181
zookeeper.connection.timeout.ms=6000

9.2、kc-online-log-platform-001

9.2.1、zookeeper

[root@kc-online-log-platform-002 ~]# grep -v "^#\|^$" /opt/kafka/config/zookeeper.properties
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zk/zookeeper/
dataLogDir=/data/zk/zkdatalog/
clientPort=2181
maxClientCnxns=0
server.1=172.16.1.94:2888:3888
server.2=172.16.1.93:2888:3888
server.3=172.16.1.92:2888:3888
[root@kc-online-log-platform-002 ~]# cat /data/zk/zookeeper/myid
2

9.2.2、kafka

[root@kc-online-log-platform-002 ~]# cat /opt/kafka/config/server.properties
broker.id=1
listeners=PLAINTEXT://172.16.1.93:9092
host.name=172.16.1.93
port=9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-logs/
num.partitions=3
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=172.16.1.94:2181,172.16.1.93:2181,172.16.1.92:2181
zookeeper.connection.timeout.ms=6000

9.3、kc-online-log-platform-001

9.3.1、zookeeper

[root@kc-online-log-platform-003 kafka]# grep -v "^#\|^$" /opt/kafka/config/zookeeper.properties
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zk/zookeeper/
dataLogDir=/data/zk/zkdatalog/
clientPort=2181
maxClientCnxns=0
server.1=172.16.1.94:2888:3888
server.2=172.16.1.93:2888:3888
server.3=172.16.1.92:2888:3888
[root@kc-online-log-platform-003 kafka]# cat /data/zk/zookeeper/myid
3

9.3.2、kafka

[root@kc-online-log-platform-003 kafka]# cat /opt/kafka/config/server.properties
broker.id=2
listeners=PLAINTEXT://172.16.1.92:9092
host.name=172.16.1.92
port=9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-logs/
num.partitions=3
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=172.16.1.94:2181,172.16.1.93:2181,172.16.1.92:2181
zookeeper.connection.timeout.ms=6000

十、启动

# 三台服务器执行如下命令：
nohup /opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties &
nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties &

十一、测试集群有效性

# 创建一个topic：fzh
kafka-topics.sh --create --zookeeper inte-zk-node-1:2181 --replication-factor 3 --partitions 1 --topic fzh
# 其它节点查看该topic是否存在：
kafka-topics.sh --describe --zookeeper kc-online-log-platform-001:2181 --topic fzh
kafka-topics.sh --describe --zookeeper kc-online-log-platform-002:2181 --topic fzh
kafka-topics.sh --describe --zookeeper kc-online-log-platform-003:2181 --topic fzh
创建一个topic，发现都能查到该topic，证明：集群成功。
# 查看topic信息：
./kafka-console-consumer.sh --bootstrap-server 172.16.1.94:9092 --topic kc-online-log --from-beginning

十二、filebeat

12.1、filebeat配置

[root@online-k8s2-master filebeat]# cat filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /mnt/online-data-4/thirdhub*/logs/app.log
    - /mnt/online-data-4/obc-stock-log/logs/app.log
  multiline:
    pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
    negate: true
    match: after
output.kafka:
  hosts: ["172.16.1.94:9092"]
  topic: "kc-online-log"

12.2、filebeat启动

./filebeat -c filebeat.yml

十三、logstash

13.1、logstash配置

[root@kc-online-log-platform-003 kafka]# cat /opt/logstash/config/logstash.conf 
input {
  kafka {
    bootstrap_servers => "172.16.1.93:9092"
    topics => ["kc-online-log"]
    codec => json
  }
}
filter {
    grok {
      match => { "message" => "%{USERNAME:day} %{NOTSPACE:time} %{NOTSPACE:threadid} %{LOGLEVEL:level} %{GREEDYDATA:msg}" }
    }
    grok {
      match => { "[log][file][path]" => ".*/%{USERNAME:app_name}/logs" }
    }
}
output {
  elasticsearch {
    hosts => "http://172.16.1.92:9200"
    index => "kc-online-log-%{+YYYY.MM.dd}"
  }
}

13.2、启动

[root@kc-online-log-platform-003 logstash]# ./bin/logstash -f config/logstash.conf

十四、kibana

[root@kc-online-log-platform-003 kibana]# cat docker-compose.yaml
version: '3'
services:
  kclog-kibana:
    image: docker.elastic.co/kibana/kibana:7.8.0
    container_name: kclog-kibana
    restart: always
    environment:
      elasticsearch.hosts: "http://172.16.1.93:9200"
      server.host: "0.0.0.0"
    volumes:
      - /data/elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
    ports:
      - "5601:5601"
[root@kc-online-log-platform-003 kibana]# cat /data/elk/kibana/config/kibana.yml
server.name: kibana
server.host: "0.0.0.0"
elasticsearch.hosts: [ "http://172.16.1.92:9200" ]

十五、elasticsearch索引配置

在kibana上进行词语搜索时，经常会发现搜索的内容不准确，eg：搜索thread:"app-app1-app2"的时候，有app或app1或app2的thread都会被检索到，而我们实际想要的是只有"app-app1-app2"的thread信息。
查看索引mapping信息

curl -XGET "http://localhost:9200/kc-online-log-2020.06.21/_mapping"

用在线json分析工具分析10.1得到的结果：

curl -XPUT -H "Content-Type: application/json" "http://localhost:9200/_template/kc_online_log_template" -d '
{
    "index_patterns": ["kc-online-log-*"],
    "mappings": {
        "properties": {
            "app_name": {
                "type": "keyword"
            },
            "agent": {
                "properties": {
                    "hostname": {
                        "type": "keyword"    # 这个地方是解决问题的关键，至于template的结构书写，可以直接复制黏贴10.1得到的结果，根据实际情况来。
                    }
                }
            }
        }
    }
}'
elk环境kc-online-log-platformonlineelasticsearch

有关elk环境搭建的更多相关文章

  1. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器，但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型，并且只返回text/plain，如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

  2. Vscode+Cmake配置并运行opencv环境(Windows和Ubuntu大同小异) - 2

    之前在培训新生的时候，windows环境下配置opencv环境一直教的都是网上主流的vsstudio配置属性表，但是这个似乎对新生来说难度略高(虽然个人觉得完全是他们自己的问题)，加之暑假之后对cmake实在是爱不释手，且这样配置确实十分简单(其实都不需要配置)，故斗胆妄言vscode下配置CV之法。其实极为简单，图比较多所以很长。如果你看此文还配不好，你应该思考一下是不是自己的问题。闲话少说，直接开始。0.CMkae简介有的人到大二了都不知道cmake是什么，我不说是谁。CMake是一个开源免费并且跨平台的构建工具，可以用简单的语句来描述所有平台的编译过程。它能够根据当前所在平台输出对应的m

  3. ruby-on-rails - ruby gem如何在rails环境下工作 - 2

    我试图在rails中了解rubygems是如何变得可以自动使用的，而不是在使用required的文件中gem？ 最佳答案 这是通过bundler/setup完成的:http://bundler.io/v1.3/bundler_setup.html.它在您的config/boot.rb文件中是必需的。简而言之，它首先将环境变量设置为指向您的Gemfile:ENV['BUNDLE_GEMFILE']||=File.expand_path('../../Gemfile',__FILE__)然后它通过要求bundler/setup将所有ge

  4. ruby-on-rails - 我需要一个真正的 UNIX RoR 开发环境 - 2

    从一开始，我就是一个Windows高手。我从MS-DOS开始。我安装了Windows2.1以及此后的所有Windows。现在，我家里有10台不同的Windows机器在运行，从Windows7Ultimate到各种版本的WindowsServer。我还没有完成Windows8，也不想去那里。我在服务器和各种软件方面都有UNIX经验，但它并不是我的首选环境。但是，我想我正在转换。我试图假装使用Cygwin和MSYS在Windows下运行UNIX。我的目的是搭建一个开发环境。两者都让我失望了。我花了比开发更多的时间来解决一系列技术问题。这是NotAcceptable。到目前为止，我的Ruby

  5. ruby-on-rails - 如果特定语言环境中缺少翻译，如何配置 i18n 以使用 en 语言环境？ - 2

    如果特定语言环境中缺少翻译，如何配置i18n以使用en语言环境翻译？当前已插入翻译缺失消息。我正在使用RoR3.1。 最佳答案 找到相似的question这里是答案:#application.rb#railswillfallbacktoconfig.i18n.default_localetranslationconfig.i18n.fallbacks=true#railswillfallbacktoen,nomatterwhatissetasconfig.i18n.default_localeconfig.i18n.fallback

  6. ruby-on-rails - 可移植 Ruby on Rails 环境 - 2

    我给自己买了一个新的8gigUSBkey，我正在寻找一个合适的解决方案来拥有一个可移植RoR环境来学习。我在谷歌上搜索了一下，发现了一些可能性，但我很想听听一些现实生活中的经历和意见。谢谢! 最佳答案 我喜欢InstantRails，非常容易使用，无需安装程序，也不会修改您的系统环境。 关于ruby-on-rails-可移植RubyonRails环境，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/q

  7. ruby-on-rails - 如何通过 URL 更改语言环境？ - 2

    在我的双语Rails4应用程序中，我有一个像这样的LocalesController:classLocalesController用户可以通过此表单更改其语言环境:deflocale_switcherform_tagurl_for(:controller=>'locales',:action=>'change_locale'),:method=>'get',:id=>'locale_switcher'doselect_tag'set_locale',options_for_select(LANGUAGES,I18n.locale.to_s)end这有效。但是，目前用户无法通过URL更改

  8. ruby - 从 FaSTLane 将环境变量传递给 shell 脚本 - 2

    我在跑Fastlane(适用于iOS的持续构建工具)以执行用于解密文件的自定义shell脚本。这是命令。sh"./decrypt.shENV['ENCRYPTION_P12']"我想不出将环境变量传递给该脚本的方法。显然，如果我将密码硬编码到脚本中，它就可以正常工作。sh"./decrypt.shmypwd"有什么建议吗？ 最佳答案 从直接Shell中扩展假设这里的sh是一个faSTLane命令，它以给定的参数作为脚本文本调用shell命令:#asafastlanedirectivesh'./decrypt.sh"$ENCRYPTI

  9. 【自动驾驶环境感知项目】——基于Paddle3D的点云障碍物检测 - 2

    文章目录1.自动驾驶实战：基于Paddle3D的点云障碍物检测1.1环境信息1.2准备点云数据1.3安装Paddle3D1.4模型训练1.5模型评估1.6模型导出1.7模型部署效果附录show_lidar_pred_on_image.py1.自动驾驶实战：基于Paddle3D的点云障碍物检测项目地址——自动驾驶实战：基于Paddle3D的点云障碍物检测课程地址——自动驾驶感知系统揭秘1.1环境信息硬件信息CPU:2核AI加速卡:v100总显存:16GB总内存:16GB总硬盘:100GB环境配置Python:3.7.4框架信息框架版本:PaddlePaddle2.4.0（项目默认框架版本为2.3

  10. ruby-on-rails - 如何在多个环境中处理 OmniAuth 回调？ - 2

    我有一个应用程序专门使用Facebook作为身份验证提供程序，并正确设置了生产模式的回调。为了让它工作，您需要为您的Facebook应用程序提供一个站点URL和一个用于回调的站点域，在我的例子中是http://appname.heroku.com和appname。heroku.com分别。问题是我的Controller设置为只允许经过身份验证的session，所以我无法在开发模式下查看我的应用程序，因为Facebook应用程序的域显然没有设置为本地主机。如何在不更改Facebook设置的情况下解决这个问题？ 最佳答案 创建另一个域l

随机推荐