草庐IT

ES集群异常处理和进阶实践

暮暮七 2023-04-11 原文

failed to execute pipeline for a bulk request问题

客户使用场景是使用第三方工具大批量往ES写入数据，报错写入失败，需排查。

已知情况：

  1. 当前环境各组件运行正常，数据由HBase侧不停写入ES

  2. 索引主分片数10个，副本1个

  3. ES HEAP设置是8GB，JVM内存资源较为紧张

问题分析：

查报错日志推断是写入侧推送数据过快，ES处理能力不足导致！

解决办法：

  1. 常规场景下应该下调往ES推送的数据大小或频率。

  2. 增大ES的内存，现场距离ES内存峰值30GB仍有很大空间。

  3. 考虑线程池过小导致，参考后面章节。

实际处理：

略微下调主分片个数使其均匀分布（10 -> 8），将索引的副本数从1减为0，相当于写入压力减少一半，至此现场问题解决，没再出现上述报错。

磁盘I/O异常引起的问题修复

用户在例行巡检过程发现es有data节点处于停止状态，进行启动后，页面进度条显示绿色已完成，但实际进程启动失败了。

问题排查与处理：

  1. 排查节点日志，发现不能访问数据路径，报错关键内容如下：

    Unable to access ‘path.data’ (/mnt/elasticsearch/slave/data)……

  2. 检查挂载磁盘，使用命令df -Th或lsblk -f

    发现磁盘没有占满，使用容量还有剩余很多，文件系统为xfs。

  3. cd到数据路径，没有报错，但ls有报错：ls: cannot open directory Input/output error。据此怀疑磁盘或文件系统故障。我们先排除文件系统故障。

  4. 此时设备已经处于不可用状态，先尝试重启机器（reboot）-> 就这样解决了。

  5. 如果重启没有解决，依然是Input/output error，那么尝试进行文件系统修复操作如下：

  6. 从【2】中获取到要修复的挂载点，如/dev/sdb

  7. xfs的文件系统，使用如下命令进行修复:xfs_repair /dev/sdb

  8. 正常的话要提示“设备或资源忙”,“couldn’t initialize XFS library”，需要先取消挂载umount /dev/sdb

  9. 继续执行修复：

xfs_repair /dev/sdb -L

Phase 1 - find and verify superblock...
Phase 2 - using internal log
- zero log...
Phase 4 - check for duplicate blocks...
- setting up duplicate extent list...
- check for inodes claiming duplicate blocks...
- agno = 0
- agno = 3
- agno = 4
- agno = 2
- agno = 5

- 【注：有剪辑省略内容】

Phase 5 - rebuild AG headers and trees...
- reset superblock...
Phase 6 - check inode connectivity...
- resetting contents of realtime bitmap and summary inodes
- traversing filesystem ...
- traversal finished ...
- moving disconnected inodes to lost+found ...
Phase 7 - verify and correct link counts...
done
  1. 修复完成后再把磁盘挂上，即可生效：mount /dev/sdb /mnt/elasticsearch/data。经实测，数据没有丢失，也就是不会使情况更糟——要么修好了，要么修不好保持原样。

p.s：这个问题不是ES自身引起的，而是外界干扰，不要浪费太多时间去处理。如果修复失败，报修硬件。

http请求长度超过限制

最近（22年10月）接用户反馈，使用ES查询的索引表越来越多了，出现“400 Bad Request”

问题描述：

ElasticSearch exception：too_long_frame_exception，reason：An HTTP line is larger than 4096 bytes。


ElasticsearchStatusException[Elasticsearch exception [type=too_long_frame_exception, reason=An HTTP line is larger than 4096 bytes.]]

    at org.elasticsearch.rest.BytesRestResponse.errorFromXContent(BytesRestResponse.java:177)

    at org.elasticsearch.client.RestHighLevelClient.parseEntity(RestHighLevelClient.java:526)

解决办法：

官网有如下3个参数控制请求大小：

需在elasticserach.yml中设置ES参数（http.max_initial_line_length默认4kb，具体大小根据自己实际情况设置）：

http.max_initial_line_length: 8k
http.max_header_size: 16k
http.max_content_length: 500mb

如果有集群管理，从集群页面的自定义配置中添加，保存，最后重启ES集群。

ES的线程池设置

ElasticSearch开箱即用，在生产环境一般不需要对参数进行特别调优，但在某些特殊、极端场景下（如压测）则需要对ES各项服务线程池进行设置。

问：什么时候才需要调整这些参数？

答：除了刚才提到的压测情境，在遇到相关报错时，根据日志提示调整。

通过curl -XGET ‘http://localhost:9200/_nodes/stats?pretty’ 接口观察thread_pool部分的统计，关注rejected的值，elasticsearch将拒绝请求（bulk HTTP状态码429）的次数累加到rejected中。

问：怎么调整这些参数？

答：2.x版本可API动态设置，在ES 5版本之后就不能动态设置这些参数了，通过修改ES主配置文件，然后重启ES生效。（“reason”: “transient setting thread_pool.write.queue_size, not dynamically updateable”）

问：最佳实践是什么？

答：非必要不调整，独占时最大化。

参考：


thread_pool.write.size：cpu核数+1

thread_pool.search.size: （最大cpu核数*3/2+1）

thread_pool.write.queue_size: 1000

thread_pool.search.queue_size: 1000

ES的双网分离设置

如果在生产环境配置了管理网和业务网分离（一般分别是千兆网和万兆网），怎么设置ES比较合理？

ES关于网络的配置参数丰富繁杂（它们都不是可动态更新的），ES双网分离场景的最佳实践是ES集群内部采用万兆-业务网，对外服务则双网都通，有管理及合规要求时按照要求设置单一网络。

实践举例：

到elasticsearch.yml中进行修改，首先注释掉network.host配置。

http.host是传入 HTTP 请求绑定到的端口；transport.host是要绑定用于节点之间通信的端口。

# elasticsearch.yml中增加

http.host: 0.0.0.0
transport.host: 192,168.1.23
# transport.host填写节点的实际万兆ip，http.host固定0.0.0.0，也可修改为指定ip

ES系列参考

ES集群red状态排查与恢复

ElasticSearch重要概念和常用操作

ES线程池设置

线程池-ES-官方文档

进阶集群gtltquot

有关ES集群异常处理和进阶实践的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  2. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  3. ruby-on-rails - Rails - 乐观锁定总是触发 StaleObjectError 异常 - 2

    我正在学习Rails，并阅读了关于乐观锁的内容。我已将类型为integer的lock_version列添加到我的articles表中。但现在每当我第一次尝试更新记录时，我都会收到StaleObjectError异常。这是我的迁移:classAddLockVersionToArticle当我尝试通过Rails控制台更新文章时:article=Article.first=>#我这样做:article.title="newtitle"article.save我明白了:(0.3ms)begintransaction(0.3ms)UPDATE"articles"SET"title"='dwdwd

  4. ruby - ＃之间？ Cooper 的 *Beginning Ruby* 中的错误或异常 - 2

    在Cooper的书BeginningRuby中，第166页有一个我无法重现的示例。classSongincludeComparableattr_accessor:lengthdef(other)@lengthother.lengthenddefinitialize(song_name,length)@song_name=song_name@length=lengthendenda=Song.new('Rockaroundtheclock',143)b=Song.new('BohemianRhapsody',544)c=Song.new('MinuteWaltz',60)a.betwee

  5. ruby - 在 Ruby 中重新分配常量时抛出异常？ - 2

    我早就知道Ruby中的“常量”(即大写的变量名)不是真正常量。与其他编程语言一样，对对象的引用是唯一存储在变量/常量中的东西。(侧边栏:Ruby确实具有“卡住”引用对象不被修改的功能，据我所知，许多其他语言都没有提供这种功能。)所以这是我的问题:当您将一个值重新分配给常量时，您会收到如下警告:>>FOO='bar'=>"bar">>FOO='baz'(irb):2:warning:alreadyinitializedconstantFOO=>"baz"有没有办法强制Ruby抛出异常而不是打印警告？很难弄清楚为什么有时会发生重新分配。 最佳答案

  6. 叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践 - 2

    导读：随着叮咚买菜业务的发展，不同的业务场景对数据分析提出了不同的需求，他们希望引入一款实时OLAP数据库，构建一个灵活的多维实时查询和分析的平台，统一数据的接入和查询方案，解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型，最终引入ApacheDoris作为最终的OLAP分析引擎，Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图，在叮咚买菜数十个业务场景中广泛应用。作者｜叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月，是一家专注美好食物的创业公司。叮咚买菜专注吃的事业，为满足更多人“想吃什么”而努力，通过美好食材的供应、美好滋味的开发以及美食品牌的孵

  7. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  8. SPI接收数据异常问题总结 - 2

    SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位（1bit）。SPI数据收发是数据交换，因此接收数据时从第二个字节开始才是有效数据，也就是数据整体向右移一个字节（1byte）。请教前辈之后也没有得到解决，通过在网上查阅前人经验终于解决问题，所以写一个避坑经验总结。实际背景：MCU与一款芯片使用spi通信，MCU作为主机，芯片作为从机。这款芯片采用的是它规定的六线SPI，多了两根线：RDY和INT，这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手

  9. ES基础入门 - 2

    ES一、简介1、ElasticStackES技术栈：ElasticSearch：存数据+搜索；QL；Kibana：Web可视化平台，分析。LogStash：日志收集，Log4j:产生日志；log.info(xxx)。。。。使用场景：metrics：指标监控…2、基本概念Index（索引）动词：保存（插入）名词：类似MySQL数据库，给数据Type（类型）已废弃，以前类似MySQL的表现在用索引对数据分类Document（文档）真正要保存的一个JSON数据{name:"tcx"}二、入门实战{"name":"DESKTOP-1TSVGKG","cluster_name":"elasticsear

  10. ruby-on-rails - Rails 中同一个类的多个关联的最佳实践？ - 2

    我认为我的问题最好用一个例子来描述。假设我有一个名为“Thing”的简单模型，它有一些简单数据类型的属性。像...Thing-foo:string-goo:string-bar:int这并不难。数据库表将包含具有这三个属性的三列，我可以使用@thing.foo或@thing.bar之类的东西访问它们。但我要解决的问题是当“foo”或“goo”不再包含在简单数据类型中时会发生什么？假设foo和goo代表相同类型的对象。也就是说，它们都是“Whazit”的实例，只是数据不同。所以现在事情可能看起来像这样......Thing-bar:int但是现在有一个新的模型叫做“Whazit”，看起来

随机推荐