草庐IT

监控ElasticSearch(elasticsearch_exporter)

我教你啊 2023-09-28 原文

我们以监控elasticsearch7为例来编写一下具体的实现过程

!> 实现过程有两种，一种是通过grafana直接通过连接elasticsearch数据源，通过自己编写或者使用仪表盘模板导入的方式来实现监控，另一种是借助prometheus的exporter插件来抓取数据并由grafana来导入仪表盘模板实现监控。这里我们选择后者，因为通过在官网模板搜索发现比较好的监控模板都是需要依赖prometheus的exporter插件的。

监控什么指标下载对应系统的exporter插件，统一下载地址：https://prometheus.io/download/

监控指标对应的grafana展示模板，统一下载地址：https://grafana.com/grafana/dashboards

elasticsearch-exporter地址：https://github.com/prometheus-community/elasticsearch_exporter/tags

环境准备

  • 已完成Prometheus的配置安装
  • 已完成Grafana的配置安装
  • 下载elasticsearch-exporter插件，(**注意：**此插件是prometheus社区开源出来的，并不是官方提供的，故无法在上述地址找到，并且版本之前下载的最新的1.2.1总是报“段错误”，故我们下载1.1.0)
# 在安装elasticsearch服务器上执行以下命令
wget https://github.com/justwatchcom/elasticsearch_exporter/releases/download/v1.1.0/elasticsearch_exporter-1.1.0.linux-amd64.tar.gz

# 解压运行
tar -zxvf elasticsearch_exporter-1.1.0.linux-amd64.tar.gz

开始运行

第一步

# 由于运行命令中指定的是远程的es地址，所以，关于elasticsearch-exporter在哪里就无关重要了，只要网络通即可
./elasticsearch_exporter --es.all --es.indices --es.cluster_settings --es.indices_settings --es.shards --es.snapshots --es.timeout=10s --web.listen-address=":9115" --web.telemetry-path="/metrics" --es.uri http://60.191.64.4:13500/

脚本启动后，可以看到脚本为我们提供了一个基于9115的http服务，http://192.168.5.135:9115/metrics，看到监控数据即为成功

第二步

  • 我们需要将上述脚本提供的http地址配置到prometheus的配置文件中
scrape_configs:
  - job_name: 'elasticsearch7'
    static_configs:
     - targets: ['192.168.5.135:9115']
  • 保存退出并启动prometheus
./prometheus --config.file=prometheus.yml --web.listen-address=:9099

第三步

  • 配置grafana
    • 登录grafana

新建数据源，并选择prometheus源(如果存在可跳过，这里不做赘述)

创建仪表板 - 使用导入监控服务器grafana模板的方式

  • 经过在官网查找监控服务器指标模板id为2322(由于我们服务器都联网了，所以直接输入id，load即可)

[!TIP|style:callout]
此处特殊说明一下，导入模板的目的本身是为了避免我们重复造轮子，自己去针对每个监控面板写查询prometheus的语句，当然模板本身也是由其他开发者提交的，所以2322并不是我们唯一选择

  • 选择prometheus源, 点击import，右上角我们修改为5s刷新一次，等一会可以看到elasticsearch7的监控指标如下：

截止到此，针对elasticsearch7的监控算是完成了，但是在导入上述模板时，关于Cluster Health指标一直显示N/A，经过edit该项指标发现在针对prometheus查询的表达式中yellow那里为+22,当我们的集群为黄色是，所以该项得到的结果为23

elasticsearch_cluster_health_status{cluster="$cluster",color="red"}==1 or (elasticsearch_cluster_health_status{cluster="$cluster",color="green"}==1)+4 or (elasticsearch_cluster_health_status{cluster="$cluster",color="yellow"}==1)+22

而查看左侧面板中的映射,这里只有1,3,5值的映射关系，所以我们需要进上面表达式中的22修改为2

并且同时需要修改，映射从哪里读取，也就是修改取值来源，最后点击右上角apply即可

上述修改模板的过程，总结下来无非就是可能仪表盘中查询prometheus表达式写错了，修改正确，并且重新修改左侧面板的取值以及取值对应的映射即可。

elasticsearch_exporterElasticSearchxff0cxff0大数据搜索引擎

有关监控ElasticSearch(elasticsearch_exporter)的更多相关文章

  1. Observability：从零开始创建 Java 微服务并监控它 （二） - 2

    这篇文章是继上一篇文章“Observability：从零开始创建Java微服务并监控它（一）”的续篇。在上一篇文章中，我们讲述了如何创建一个Javaweb应用，并使用Filebeat来收集应用所生成的日志。在今天的文章中，我来详述如何收集应用的指标，使用APM来监控应用并监督web服务的在线情况。源码可以在地址 https://github.com/liu-xiao-guo/java_observability 进行下载。摄入指标指标被视为可以随时更改的时间点值。当前请求的数量可以改变任何毫秒。你可能有1000个请求的峰值，然后一切都回到一个请求。这也意味着这些指标可能不准确，你还想提取最小/

  2. ruby-on-rails - 缺失区域；使用 :region option or export region name to ENV ['AWS_REGION' ] - 2

    我知道还有其他相同的问题，但他们没有解决我的问题。我不断收到错误:Aws::Errors::MissingRegionErrorinBooksController#create,缺少区域；使用:region选项或将区域名称导出到ENV['AWS_REGION']。但是，这是我的配置开发.rb:config.paperclip_defaults={storage::s3,s3_host_name:"s3-us-west-2.amazonaws.com",s3_credentials:{bucket:ENV['AWS_BUCKET'],access_key_id:ENV['AWS_ACCE

  3. ruby - Rails Elasticsearch 聚合 - 2

    不知何故，我似乎无法获得包含我的聚合的响应...使用curl它按预期工作:HBZUMB01$curl-XPOST"http://localhost:9200/contents/_search"-d'{"size":0,"aggs":{"sport_count":{"value_count":{"field":"dwid"}}}}'我收到回复:{"took":4,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":90,"max_score":0.0,"hits":[]},"a

  4. elasticsearch源码关于TransportSearchAction【阶段三】 - 2

    1.回顾.TransportServicepublicclassTransportServiceextendsAbstractLifecycleComponentTransportService：方法：1publicfinalTextendsTransportResponse>voidsendRequest(finalTransport.Connectionconnection,finalStringaction,finalTransportRequestrequest,finalTransportRequestOptionsoptions,TransportResponseHandlerT>

  5. ruby-on-rails - 使用 Rails (Tire) 和 ElasticSearch 进行模糊字符串匹配 - 2

    我有一个Rails应用程序，现在设置了ElasticSearch和Tiregem以在模型上进行搜索，我想知道我应该如何设置我的应用程序以对模型中的某些索引进行模糊字符串匹配。我将我的模型设置为索引标题、描述等内容，但我想对其中一些进行模糊字符串匹配，但我不确定在何处进行此操作。如果您想发表评论，我将在下面包含我的代码!谢谢!在Controller中:defsearch@resource=Resource.search(params[:q],:page=>(params[:page]||1),:per_page=>15,load:true)end在模型中:classResource'Us

  6. 美团外卖搜索基于Elasticsearch的优化实践 - 2

    美团外卖搜索工程团队在Elasticsearch的优化实践中，基于Location-BasedService（LBS）业务场景对Elasticsearch的查询性能进行优化。该优化基于Run-LengthEncoding（RLE）设计了一款高效的倒排索引结构，使检索耗时（TP99）降低了84%。本文从问题分析、技术选型、优化方案等方面进行阐述，并给出最终灰度验证的结论。1.前言最近十年，Elasticsearch已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。然而在高并发、高可用、大数据量的C端场景，目前可参考的资料并不多。因此

  7. 【详解】Docker安装Elasticsearch7.16.1集群 - 2

    开门见山|拉取镜像dockerpullelasticsearch:7.16.1|配置存放的目录#存放配置文件的文件夹mkdir-p/opt/docker/elasticsearch/node-1/config#存放数据的文件夹mkdir-p/opt/docker/elasticsearch/node-1/data#存放运行日志的文件夹mkdir-p/opt/docker/elasticsearch/node-1/log#存放IK分词插件的文件夹mkdir-p/opt/docker/elasticsearch/node-1/plugins若你使用了moba，直接右键新建即可如上图所示依次类推创建

  8. 【Elasticsearch基础】Elasticsearch索引、文档以及映射操作详解 - 2

    文章目录概念索引相关操作创建索引更新副本查看索引删除索引索引的打开与关闭收缩索引索引别名查询索引别名文档相关操作新建文档查询文档更新文档删除文档映射相关操作查询文档映射创建静态映射创建索引并添加映射概念es中有三个概念要清楚，分别为索引、映射和文档（不用死记硬背，大概有个印象就可以）索引可理解为MySQL数据库；映射可理解为MySQL的表结构；文档可理解为MySQL表中的每行数据静态映射和动态映射上面已经介绍了，映射可理解为MySQL的表结构，在MySQL中，向表中插入数据是需要先创建表结构的；但在es中不必这样，可以直接插入文档，es可以根据插入的文档（数据），动态的创建映射（表结构），这就

  9. Linux export 命令及如何删除export设置的环境变量 - 2

    背景:Linuxexport命令用于设置或显示环境变量。在shell中执行程序时，shell会提供一组环境变量。export可新增，修改或删除环境变量，供后续执行的程序使用。export的效力仅限于该次登陆操作。语法：export[-fnp][变量名称]=[变量设置值]参数说明：-f　代表[变量名称]中为函数名称。-n　删除指定的变量。变量实际上并未删除，只是不会输出到后续指令的执行环境中。-p　列出所有的shell赋予程序的环境变量。实例：列出当前所有的环境变量#export-p//列出当前的环境变量值定义环境变量赋值#exportMYENV=7//定义环境变量并赋值添加环境变量：默认保存在

  10. ruby-on-rails - Elasticsearch 问题 : Cannot connect AWS elasticsearch service - 2

    我有一个关于配置elasticsearch以连接AWSelasticsearch服务以在生产环境中运行项目的问题。我的gem文件:gem'searchkick'gem'faraday_middleware-aws-signers-v4'gem'aws-sdk','~>2'gem"elasticsearch",">=1.0.15"引用:https://github.com/ankane/searchkick我的config/initializers/elasticsearch.rb文件:require"faraday_middleware/aws_signers_v4"ENV["ELAS

随机推荐