草庐IT

线上sql执行慢,分享3个优化案例

wayn111 2023-03-28 原文

前段时间,博主线上项目的几个后端接口执行耗时达到了三、四秒钟以上,查看接口代码,发现 sql 语句执行过慢,于是开始分析 sql 执行 这里把比较经典的优化案例分享给大家。

一、or 查询条件错误

线上有一个第三方账户扫码绑定手机号登录的接口,这个接口正常逻辑如下:

  1. 使用 苹果、QQ、微信获取扫描客户端登录二维码,获取用户第三方账户唯一ID后。
  2. 判断第三方账户ID是否存在用户表中,存在且已绑定手机号则直接返回用户 token 进行登录操作。
  3. 不存在则提示用户进行绑定手机号操作。
  4. 用户填写手机号及短信验证码后,进行第三方账户唯一ID与手机号的绑定,成功则返回用户 token 进行登录操作。

博主记得这个接口是在21年10月上线的,到现在经历了一年多,接口执行时间是越来越慢,初步分析是用户数量持续增长,用户表记录越来越多,导致 sql 查询执行效率越来越低导致。这里用 vc_member_bak 进行举例,表结构以及数据展示,其中 apple_id、weixn_id、qq_id 有建立索引:

vc_member_bak 表数据量在46万左右,开启日志分析后,发现是下面这条 sql 执行太慢导致:

SELECT * FROM vc_member 
WHERE qq_id = 'xxx' OR app_id = 'xxx' OR weixin_id = 'xxx' ;

执行结果:

需要1.3秒左右,这是在我本地模拟的数据,线上用户在百万级别,耗时已经达到2、3秒,于是博主开始上 explain,分析 sql 执行:

由于 explain 结果中 key 列为空,明显可知虽然 possible_keys 列有值,但是执行过程中,没有使用索引导致全表查询,从rows 列为46万可以看出已经基本接近于全表查询。

那么问题出在哪里?我们不是已经给 apple_id、weixn_id、qq_id 三个字段都添加索引了吗。

于是博主仔细查询 sql 语句发现里面有坑,查询的 where 条件上使用的三个条件字段是分别是 app_id、weixin_id、qq_id,而我们的索引字段是 apple_id、weixn_id、qq_id,很明显这是查询字段 apple_id 写成 app_id 了导致。app_id 没有加索引,所以在 or 条件查询下执行的就是全表扫描。

更改字段后执行结果:

Ok,这里发现了是查询字段写错了,那么修改查询字段正确后,查询0.18秒就正常了。?

二、update 批量更新优化

博主以前线上项目(Spring Boot + Mybatis)有一个接口需要批量更新库存,当时博主本着不能再代码 for 循环中执行更新逻辑的初衷,决定再 xml 文件中使用 foreach 标签执行批量更新逻辑,展示如下:

<update id="updateStockNum">
    <foreach collection="stockNumDTOS" item="stockNumDTO">
        update tb_newbee_mall_goods_info 
        set stock_num = stock_num-#{stockNumDTO.goodsCount}
        where goods_id = #{stockNumDTO.goodsId} 
        and stock_num>=#{stockNumDTO.goodsCount} 
        and goods_sell_status = 0;
    </foreach>
</update>

可以看出这个更新 sql 本质上就是在一条 sql 里执行了多个 update 语句。这个写法虽然不是在代码 for 循环中执行,但是这条 sql 语句执行时,MySql 任然是单条单条执行的。这里用 tb_newbee_mall_goods_info 表举例,表结构展示:

3个 update 语句同时执行结果如下:

如上,假如其中一个 update 语句需要耗时40毫秒,那么当有100条 update 语句时,接口耗时就会来到4秒,这显然是不可接受的。

那有没有一种高级一点的写法来执行 update 批量更新嘞?

当然是有的,博主后来使用了 update + case 语句完成这个批量更新功能,

update + casesql 如下:

UPDATE tb_newbee_mall_goods_info 
SET stock_num =
CASE
		goods_id 
		WHEN 10003 THEN
		stock_num - 1 
		WHEN 10004 THEN
		stock_num - 1 
		WHEN 10005 THEN
		stock_num - 1 
		ELSE stock_num  END 
WHERE
	goods_id IN (
		10003,
		10004,
	10005 
	)

我们通过 SET stock_num = case goods_id when 10004 then stock_num - 1 ... ELSE stock_num END 条件,可以将对应 goods_id 的记录的库存数量设置成我们想要的结果。

PS:需要注意的就是 case when then语句不匹配时会返回 null,那就会造成不匹配的库存更新为 null。所以 ELSE stock_num END条件一定要带上,当不匹配 case when then条件时,将库存数量设置成原本数量。where 条件在这里其实可以不加,它起到的作用是限制更新范围,但是建议还是要加上,避免 sql 写错时,造成脏数据范围过大。

update + case执行结果:

可以看出我们更新了3条记录,耗时50毫秒,更新记录越多时,优化效果也就明显。

三、多线程优化大批量数据插入速度

博主线上有一个 cdk 兑换码业务,运营在后台创建一批 cdk 码时,系统会将这批码插入数据库中保存,这样可以保证用户兑换 cdk 时,码在数据库存在才能兑换,保障安全性。当运营创建十万条cdk记录时,线上耗时达到了十几秒。这里用 cdk_info 表举例,表结构展示:


假如我们现在需要保存十万条 cdk_info 记录,分批次保存代码如下:

/**
 * cdk创建
 */
@Test
public void cdkCreate() {
    Integer num = 100000;
    List<CdkInfo> list = new ArrayList<>(num);
    Date date = new Date();
    String createUser = "test";
    for (Integer i = 0; i < num; i++) {
        CdkInfo temp = new CdkInfo();
        temp.setCdkNo(String.valueOf(i));
        temp.setCreateTime(date);
        temp.setCreateUser(createUser);
        list.add(temp);
    }
    long begin = System.currentTimeMillis();
    boolean flag = false;
    for (List<CdkInfo> cdkInfos : ListUtil.partition(list, 1000)) {
        flag = cdkInfoService.saveBatch(cdkInfos, cdkInfos.size());
        if (!flag) {
            break;
        }
    }
    long end = System.currentTimeMillis();
    log.info("执行耗时:" + (end - begin) + "ms");
    Assert.isTrue(flag, "批量更新失败");
}

执行耗时:

可以看到在单一线程下,插入十万条记录差不多需要15秒了,这十万条数据之间没有关联,互不影响,那我们可以通过线程池提交单一批次的保存任务,配合 CompletableFuture.allOf(futures.toArray(new CompletableFuture[0])).join() 方法,等所有任务执行完成拿到结果。代码如下:

/**
 * 通过线程池创建cdk
 */
@Test
public void asyncCdkCreate() {
    int num = 100000;
    List<CdkInfo> list = new ArrayList<>(num);
    Date date = new Date();
    String createUser = "test";
    for (Integer i = 0; i < num; i++) {
        CdkInfo temp = new CdkInfo();
        temp.setCdkNo(String.valueOf(i));
        temp.setCreateTime(date);
        temp.setCreateUser(createUser);
        list.add(temp);
    }
    long begin = System.currentTimeMillis();
    List<Boolean> flagList = new ArrayList<>();
    List<CompletableFuture<Void>> futures = new ArrayList<>();
    for (List<CdkInfo> cdkInfos : ListUtil.partition(list, 1000)) {
        CompletableFuture<Void> future = CompletableFuture.runAsync(() -> {
            boolean b = cdkInfoService.saveBatch(cdkInfos, cdkInfos.size());
            flagList.add(b);
        }, ForkJoinPool.commonPool());
        futures.add(future);
    }
    CompletableFuture.allOf(futures.toArray(new CompletableFuture[0])).join();
    long end = System.currentTimeMillis();
    log.info("执行耗时:" + (end - begin) + "ms");
    Assert.isTrue(flagList.stream().filter(aBoolean -> !aBoolean).findFirst().orElse(true), "批量更新失败");
}

执行耗时:

可以看到执行耗时2.5秒,执行时间缩短了6倍。

总结

到这里,本文所分享的3个优化案例就介绍完了,希望对大家日常开发有所帮助,喜欢的朋友们可以点赞加关注?。

有关线上sql执行慢,分享3个优化案例的更多相关文章

  1. ruby-openid:执行发现时未设置@socket - 2

    我在使用omniauth/openid时遇到了一些麻烦。在尝试进行身份验证时,我在日志中发现了这一点:OpenID::FetchingError:Errorfetchinghttps://www.google.com/accounts/o8/.well-known/host-meta?hd=profiles.google.com%2Fmy_username:undefinedmethod`io'fornil:NilClass重要的是undefinedmethodio'fornil:NilClass来自openid/fetchers.rb,在下面的代码片段中:moduleNetclass

  2. ruby - Chef 执行非顺序配方 - 2

    我遵循了教程http://gettingstartedwithchef.com/,第1章。我的运行list是"run_list":["recipe[apt]","recipe[phpap]"]我的phpapRecipe默认Recipeinclude_recipe"apache2"include_recipe"build-essential"include_recipe"openssl"include_recipe"mysql::client"include_recipe"mysql::server"include_recipe"php"include_recipe"php::modul

  3. ruby - 为什么 Ruby 的 each 迭代器先执行? - 2

    我在用Ruby执行简单任务时遇到了一件奇怪的事情。我只想用每个方法迭代字母表,但迭代在执行中先进行:alfawit=("a".."z")puts"That'sanalphabet:\n\n#{alfawit.each{|litera|putslitera}}"这段代码的结果是:(缩写)abc⋮xyzThat'sanalphabet:a..z知道为什么它会这样工作或者我做错了什么吗?提前致谢。 最佳答案 因为您的each调用被插入到在固定字符串之前执行的字符串文字中。此外,each返回一个Enumerable,实际上您甚至打印它。试试

  4. ruby - 检查是否通过 require 执行或导入了 Ruby 程序 - 2

    如何检查Ruby文件是否是通过“require”或“load”导入的,而不是简单地从命令行执行的?例如:foo.rb的内容:puts"Hello"bar.rb的内容require'foo'输出:$./foo.rbHello$./bar.rbHello基本上,我想调用bar.rb以不执行puts调用。 最佳答案 将foo.rb改为:if__FILE__==$0puts"Hello"end检查__FILE__-当前ruby​​文件的名称-与$0-正在运行的脚本的名称。 关于ruby-检查是否

  5. 「Python|Selenium|场景案例」如何定位iframe中的元素? - 2

    本文主要介绍在使用Selenium进行自动化测试或者任务时,对于使用了iframe的页面,如何定位iframe中的元素文章目录场景描述解决方案具体代码场景描述当我们在使用Selenium进行自动化测试的时候,可能会遇到一些界面或者窗体是使用HTML的iframe标签进行承载的。对于iframe中的标签,如果直接查找是无法找到的,会抛出没有找到元素的异常。比如近在咫尺的例子就是,CSDN的登录窗体就是使用的iframe,大家可以尝试通过F12开发者模式查看到的tag_name,class_name,id或者xpath来定位中的页面元素,会抛出NoSuchElementException异常。解决

  6. postman——集合——执行集合——测试脚本——pm对象简单示例02 - 2

    //1.验证返回状态码是否是200pm.test("Statuscodeis200",function(){pm.response.to.have.status(200);});//2.验证返回body内是否含有某个值pm.test("Bodymatchesstring",function(){pm.expect(pm.response.text()).to.include("string_you_want_to_search");});//3.验证某个返回值是否是100pm.test("Yourtestname",function(){varjsonData=pm.response.json

  7. ruby-on-rails - rbenv:从 RVM 移动到 rbenv 后,在 Jenkins 执行 shell 中找不到命令 - 2

    我从Ubuntu服务器上的RVM转移到rbenv。当我使用RVM时,使用bundle没有问题。转移到rbenv后,我在Jenkins的执行shell中收到“找不到命令”错误。我内爆并删除了RVM,并从~/.bashrc'中删除了所有与RVM相关的行。使用后我仍然收到此错误:rvmimploderm~/.rvm-rfrm~/.rvmrcgeminstallbundlerecho'exportPATH="$HOME/.rbenv/bin:$PATH"'>>~/.bashrcecho'eval"$(rbenvinit-)"'>>~/.bashrc.~/.bashrcrbenvversions

  8. Hive SQL 五大经典面试题 - 2

    目录第1题连续问题分析:解法:第2题分组问题分析:解法:第3题间隔连续问题分析:解法:第4题打折日期交叉问题分析:解法:第5题同时在线问题分析:解法:第1题连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量iddtlowcarbon10012021-12-1212310022021-12-124510012021-12-134310012021-12-134510012021-12-132310022021-12-144510012021-12-1423010022021-12-154510012021-12-1523.......找出连续3天及以上减少碳排放量在100以上的用户分析:遇到这类

  9. sql - 查询忽略时间戳日期的时间范围 - 2

    我正在尝试查询我的Rails数据库(Postgres)中的购买表,我想查询时间范围。例如,我想知道在所有日期的下午2点到3点之间进行了多少次购买。此表中有一个created_at列,但我不知道如何在不搜索特定日期的情况下完成此操作。我试过:Purchases.where("created_atBETWEEN?and?",Time.now-1.hour,Time.now)但这最终只会搜索今天与那些时间的日期。 最佳答案 您需要使用PostgreSQL'sdate_part/extractfunction从created_at中提取小时

  10. ruby - 如何使用 Selenium Webdriver 根据 div 的内容执行操作? - 2

    我有一个使用SeleniumWebdriver和Nokogiri的Ruby应用程序。我想选择一个类,然后对于那个类对应的每个div,我想根据div的内容执行一个Action。例如,我正在解析以下页面:https://www.google.com/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=puppies这是一个搜索结果页面,我正在寻找描述中包含“Adoption”一词的第一个结果。因此机器人应该寻找带有className:"result"的div,对于每个检查它的.descriptiondiv是否包含单词“adoption

随机推荐