草庐IT

记一次线上es慢查询导致的服务不可用

LuTshoes 2023-04-10 原文

现象

某日线上业务同学反馈订单列表查询页面一直loding，然后提示请求超时，几分钟之后恢复正常

  • 接到报障之后，马上根据接口URL，定位到了请求链路，发现是es查询超时，这里我们的业务订单表数据是由几百万的，所以列表查询用的es，

  • 根据请求日志拿到查询es 的参数，在es控制台查询，请求响应时间200ms，初步估计不是这条查询导致，

  • 在线上搜索同类报错日志，找到了最初报超时的请求记录,4个字段使用统一查询条件的模糊查询，这条查询在es控制台查询时间为6秒左右，询问当时操作的业务同学，是当时复制错误信息，不是正常的搜索请求

    {"commodityName":{"wildcard":"*云汉路线业绩目标： 1W/业绩线索：-----------------------------------需求数：10/拜访目标10/ 拜访路径安排：上午：：：润锦，潮工作室，锐城凯，源衣坊，下午：：：程逸，精盈，鸿逸，徜仕，三通，富顺，悦富。田亮，汉美森服饰。堡伦，————————————末成交访客户：，重磅服饰，荣鑫服饰*","boost":1.0}}},{"wildcard":{"commodityNumbers":{"wildcard":"*云汉路线业绩目标： 1W/业绩线索：-----------------------------------需求数：10/拜访目标10/ 拜访路径安排：上午：：：润锦，潮工作室，锐城凯，源衣坊，下午：：：程逸，精盈，鸿逸，徜仕，三通，富顺，悦富。田亮，汉美森服饰。堡伦，————————————末成交访客户：，重磅服饰，荣鑫服饰*","boost":1.0}}},{"wildcard":{"commodityCode":{"wildcard":"*云汉路线业绩目标： 1W/业绩线索：-----------------------------------需求数：10/拜访目标10/ 拜访路径安排：上午：：：润锦，潮工作室，锐城凯，源衣坊，下午：：：程逸，精盈，鸿逸，徜仕，三通，富顺，悦富。田亮，汉美森服饰。堡伦，————————————末成交访客户：，重磅服饰，荣鑫服饰*","boost":1.0}}},{"wildcard":{"parentCommodityCode":{"wildcard":"*云汉路线业绩目标： 1W/业绩线索：-----------------------------------需求数：10/拜访目标10/ 拜访路径安排：上午：：：润锦，潮工作室，锐城凯，源衣坊，下午：：：程逸，精盈，鸿逸，徜仕，三通，富顺，悦富。田亮，汉美森服饰。堡伦，————————————末成交访客户：，重磅服饰，荣鑫服饰*","boost":1.0}}},{"term":{"xid":{"value":"云汉路线业绩目标： 1W/业绩线索：-----------------------------------需求数：10/拜访目标10/ 拜访路径安排：上午：：：润锦，潮工作室，锐城凯，源衣坊，下午：：：程逸，精盈，鸿逸，徜仕，三通，富顺，悦富。田亮，汉美森服饰。堡伦，————————————末成交访客户：，重磅服饰，荣鑫服饰","boost":1.0}}},{"term":{"yid":{"value":"云汉路线业绩目标： 1W/业绩线索：-----------------------------------需求数：10/拜访目标10/ 拜访路径安排：上午：：：润锦，潮工作室，锐城凯，源衣坊，下午：：：程逸，精盈，鸿逸，徜仕，三通，富顺，悦富。田亮，汉美森服饰。堡伦，————————————末成交访客户：，重磅服饰，荣鑫服饰","boost":1.0}}},{"term":{"sid":{"value":"云汉路线业绩目标： 1W/业绩线索：-----------------------------------需求数：10/拜访目标10/ 拜访路径安排：上午：：：润锦，潮工作室，锐城凯，源衣坊，下午：：：程逸，精盈，鸿逸，徜仕，三通，富顺，悦富。田亮，汉美森服饰。堡伦，————————————末成交访客户：，重磅服饰，荣鑫服饰","boost":1.0}}},{"term":{"hid":{"value":"云汉路线业绩目标： 1W/业绩线索：-----------------------------------需求数：10/拜访目标10/ 拜访路径安排：上午：：：润锦，潮工作室，锐城凯，源衣坊，下午：：：程逸，精盈，鸿逸，徜仕，三通，富顺，悦富。田亮，汉美森服饰。堡伦，————————————末成交访客户：，重磅服饰，荣鑫服饰","boost":1.0}

  • 通过日志统计，发现该接口当天请求此时在2W次以上，我们是公司业务自用的系统，按道理说不会有这么大的请求量，然后根据请求日志发现了一个很骚的事情，原来的交互设计是每输入一个字，前端就会请求后端去做实时的搜索

  • 运维同学根据，保障的时间段，也发现了当时es服务器，cpu和内存使用的飙升

解决

  • 前端修改交互方式，去掉实时搜索的处理，
  • 后端接口增加拦截，过滤不合逻辑的无效请求

总结

  • 查询交互设计不合理，报错的es索引，在es库是一个数据量很大的索引，这病频繁请求会导致cpu和频繁的gc
  • 后端接口么有校验，导致用户复制输入错误信息，也会去做查询操作，未做查询条件的过滤
一次线上ampxffxff0c

有关记一次线上es慢查询导致的服务不可用的更多相关文章

  1. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  2. ruby - 具有身份验证的私有(private) Ruby Gem 服务器 - 2

    我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时，它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器？这是不可能的吗？谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..

  3. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表，并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码)，并打印以下消息。鉴于该程序非常简单，我已经没有什么想法了-有什么建议吗？/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

  4. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  5. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  6. ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2

    最近，当我启动我的Rails服务器时，我收到了一长串警告。虽然它不影响我的应用程序，但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次？当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗？/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru

  7. ruby-on-rails - s3_direct_upload 在生产服务器中不工作 - 2

    在Rails4.0.2中，我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常，但在生产环境中它会抛出如下错误，ActionView::Template::Error(noimplicitconversionofnilintoString)在View中，create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo

  8. ruby-on-rails - 在 Rails 和 ActiveRecord 中查询时忽略某些字段 - 2

    我知道我可以指定某些字段来使用pluck查询数据库。ids=Item.where('due_at但是我想知道，是否有一种方法可以指定我想避免从数据库查询的某些字段。某种反拔？posts=Post.where(published:true).do_not_lookup(:enormous_field) 最佳答案 Model#attribute_names应该返回列/属性数组。您可以排除其中一些并传递给pluck或select方法。像这样:posts=Post.where(published:true).select(Post.attr

  9. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b

  10. ruby-on-rails - 在 Rails 中调试生产服务器 - 2

    您如何在Rails中的实时服务器上进行有效调试，无论是在测试版/生产服务器上？我试过直接在服务器上修改文件，然后重启应用，但是修改好像没有生效，或者需要很长时间(缓存？)我也试过在本地做“脚本/服务器生产”，但是那很慢另一种选择是编码和部署，但效率很低。有人对他们如何有效地做到这一点有任何见解吗？ 最佳答案 我会回答你的问题，即使我不同意这种热修补服务器代码的方式:)首先，你真的确定你已经重启了服务器吗？您可以通过跟踪日志文件来检查它。您更改的代码显示的View可能会被缓存。缓存页面位于tmp/cache文件夹下。您可以尝试手动删除

随机推荐