草庐IT

min_uptime

全部标签

这个定时任务,从3min优化到200ms。老板,我尽力了!

 近期,数据中心系统负荷大,mysql服务器的CPU动辄高达90%以上。代码和数据表存在很大优化空间。 这里分享一个定时任务批量处理数据的优化过程。 先介绍定时任务先介绍下面2张数据表 字段数据量platform_order平台交易订单表包括主键自增id、客户id、客户名称(冗余字段)、服务商id(levy_id)、服务商名称(levy_name,冗余字段)、付款方式、付款状态、收款人、收款人收款账号(卡号/支付宝/微信)、项目id、付款金额、渠道商、销售代表、创建时间、最近更新时间、付款完成时间,等等。550w,每天增量3w宽表,有多达54个字段。levy_info服务商信息表字段包括服务商

这个定时任务,从3min优化到200ms。老板,我尽力了!

 近期,数据中心系统负荷大,mysql服务器的CPU动辄高达90%以上。代码和数据表存在很大优化空间。 这里分享一个定时任务批量处理数据的优化过程。 先介绍定时任务先介绍下面2张数据表 字段数据量platform_order平台交易订单表包括主键自增id、客户id、客户名称(冗余字段)、服务商id(levy_id)、服务商名称(levy_name,冗余字段)、付款方式、付款状态、收款人、收款人收款账号(卡号/支付宝/微信)、项目id、付款金额、渠道商、销售代表、创建时间、最近更新时间、付款完成时间,等等。550w,每天增量3w宽表,有多达54个字段。levy_info服务商信息表字段包括服务商

MybatisPlus Lambda表达式 聚合查询 分组查询 COUNT SUM AVG MIN MAX GroupBy

一、序言众所周知,MybatisPlus在处理单表DAO操作时非常的方便。在处理多表连接连接查询也有优雅的解决方案。今天分享MybatisPlus基于Lambda表达式优雅实现聚合分组查询。由于视频的交互性更强,保留更多的细节,看视频的朋友,传送门在这里。下面的内容是博客文字版。二、代码实现1、用户实体类@TableName(value="tb_user")publicclassUser{privatestaticfinallongserialVersionUID=1L;privateIntegerage;privateLongdeptId;@TableId(type=IdType.AUTO)

MybatisPlus Lambda表达式 聚合查询 分组查询 COUNT SUM AVG MIN MAX GroupBy

一、序言众所周知,MybatisPlus在处理单表DAO操作时非常的方便。在处理多表连接连接查询也有优雅的解决方案。今天分享MybatisPlus基于Lambda表达式优雅实现聚合分组查询。由于视频的交互性更强,保留更多的细节,看视频的朋友,传送门在这里。下面的内容是博客文字版。二、代码实现1、用户实体类@TableName(value="tb_user")publicclassUser{privatestaticfinallongserialVersionUID=1L;privateIntegerage;privateLongdeptId;@TableId(type=IdType.AUTO)

【SQL开发实战技巧】系列(十五):查找最值所在行数据信息及快速计算总和百之max/min() keep() over()、fisrt_value、last_value、ratio_to_report

系列文章目录【SQL开发实战技巧】系列(一):关于SQL不得不说的那些事【SQL开发实战技巧】系列(二):简单单表查询【SQL开发实战技巧】系列(三):SQL排序的那些事【SQL开发实战技巧】系列(四):从执行计划讨论UNIONALL与空字符串&UNION与OR的使用注意事项【SQL开发实战技巧】系列(五):从执行计划看IN、EXISTS和INNERJOIN效率,我们要分场景不要死记网上结论【SQL开发实战技巧】系列(六):从执行计划看NOTIN、NOTEXISTS和LEFTJOIN效率,记住内外关联条件不要乱放【SQL开发实战技巧】系列(七):从有重复数据前提下如何比较出两个表中的差异数据及

【SQL开发实战技巧】系列(十五):查找最值所在行数据信息及快速计算总和百之max/min() keep() over()、fisrt_value、last_value、ratio_to_report

系列文章目录【SQL开发实战技巧】系列(一):关于SQL不得不说的那些事【SQL开发实战技巧】系列(二):简单单表查询【SQL开发实战技巧】系列(三):SQL排序的那些事【SQL开发实战技巧】系列(四):从执行计划讨论UNIONALL与空字符串&UNION与OR的使用注意事项【SQL开发实战技巧】系列(五):从执行计划看IN、EXISTS和INNERJOIN效率,我们要分场景不要死记网上结论【SQL开发实战技巧】系列(六):从执行计划看NOTIN、NOTEXISTS和LEFTJOIN效率,记住内外关联条件不要乱放【SQL开发实战技巧】系列(七):从有重复数据前提下如何比较出两个表中的差异数据及

中科创达C++ 一面(技术面、24min、offer)

中科创达C++一面(技术面、24min)面试官问自我介绍你个人是想往哪一方面发展呢?项目问题balabala你对STL这一块了解吗,简单说一下你了解的呢STL这些容器库中共有的一些方法有哪些呢,简单说一说如果我sizeof一个纯虚类和sizeof一个空类有什么区别吗,他们的大小分别是多少你做过kernel的驱动没有,简单说一下过程你对操作系统的内存分配的原理知道吗,比如说你通过malloc去申请一个内存,这个操作系统的处理方式是怎么样的呢在内核态两个进程操作一个device有什么方法可以处理进程间同步的问题呢你对安卓这一块了解吗,就是说安卓的底层系统框架,有去学习过吗malloc你觉得会返回什

中科创达C++ 一面(技术面、24min、offer)

中科创达C++一面(技术面、24min)面试官问自我介绍你个人是想往哪一方面发展呢?项目问题balabala你对STL这一块了解吗,简单说一下你了解的呢STL这些容器库中共有的一些方法有哪些呢,简单说一说如果我sizeof一个纯虚类和sizeof一个空类有什么区别吗,他们的大小分别是多少你做过kernel的驱动没有,简单说一下过程你对操作系统的内存分配的原理知道吗,比如说你通过malloc去申请一个内存,这个操作系统的处理方式是怎么样的呢在内核态两个进程操作一个device有什么方法可以处理进程间同步的问题呢你对安卓这一块了解吗,就是说安卓的底层系统框架,有去学习过吗malloc你觉得会返回什

Vivado时序约束之—— set_max_delay、set_min_dealy(最大最小延迟约束)

set_max_delay、set_min_delay(最大、最小延迟约束)1.set_max_delay、set_min_delay约束的目的最大最小延迟约束主要是为了解决异步信号之间的时序路径进行时序约束的问题。最大延迟约束(set_max_delay)将默认覆盖建立时间分析中的最大路径延迟;最小延迟约束(set_min_delay)将默认覆盖保持时间分析中的最小路径延迟。所谓的最大、最小延迟约束主要应用于异步跨时钟域路径中,而对于其他的路径,一般不使用最大最小延迟约束,特别是Pin2Reg与Reg2Pin的路径,一般不使用最大最小延迟约束。注:(1)跨时钟域是异步跨时钟域的简称,只要是跨

Vivado时序约束之—— set_max_delay、set_min_dealy(最大最小延迟约束)

set_max_delay、set_min_delay(最大、最小延迟约束)1.set_max_delay、set_min_delay约束的目的最大最小延迟约束主要是为了解决异步信号之间的时序路径进行时序约束的问题。最大延迟约束(set_max_delay)将默认覆盖建立时间分析中的最大路径延迟;最小延迟约束(set_min_delay)将默认覆盖保持时间分析中的最小路径延迟。所谓的最大、最小延迟约束主要应用于异步跨时钟域路径中,而对于其他的路径,一般不使用最大最小延迟约束,特别是Pin2Reg与Reg2Pin的路径,一般不使用最大最小延迟约束。注:(1)跨时钟域是异步跨时钟域的简称,只要是跨