目录1.场景说明2.DUPLICATE 和REPLACE比较3.批量插入或者更新(两种方式)方式一：mybatis-plus的saveOrUpdateBatch方法问题：如果操作类集成了基础类，比如封装了BaseEntity去集成，那么这样使用会出问题方式二：onduplicatekey(推荐)4.注意5.常见问题 1.场景说明插入数据时，我们经常会遇到这样的情况：1、首先判断数据是否存在；2、如果不存在，则插入；3、如果存在，则更新需求：根据表中的部分字段去判断插入或者更新有一张表 hh_adx_monitor_summary ddl:CREATETABLE`hh_adx_monitor_s
目录自学自编实现一个简单的增删改查（前后端分离版本）与大家一起分享，一起交流和学习！（1）程序入口（2）建立数据库文件（3）建立User实体类（4）建立UserMapper接口（5）配置UserMapper.xml文件（6）建立UserService类（7）建立UserController类（8）配置application.yml文件（9）配置application-dev.yml（10）效果展示自学自编实现一个简单的增删改查（前后端分离版本）与大家一起分享，一起交流和学习！根据上图所示，idea中我们有7个比较重要的模块需要建立（1）controller包：如果学习过或者对SpringMVC
目录自学自编实现一个简单的增删改查（前后端分离版本）与大家一起分享，一起交流和学习！（1）程序入口（2）建立数据库文件（3）建立User实体类（4）建立UserMapper接口（5）配置UserMapper.xml文件（6）建立UserService类（7）建立UserController类（8）配置application.yml文件（9）配置application-dev.yml（10）效果展示自学自编实现一个简单的增删改查（前后端分离版本）与大家一起分享，一起交流和学习！根据上图所示，idea中我们有7个比较重要的模块需要建立（1）controller包：如果学习过或者对SpringMVC
使用原因： 批量新增和批量修改在业务中是很常见的，一条sql访问数据库和通过代码循环体中循环访问数据库做单个数据新增修改相比较下：一条sql访问数据库性能上明显提升，代码且简洁明了批量修改：1、Mapper.java中说明：参数是list@RepositorypublicinterfaceProcessUnitDurationMapper{intupdateMultiple(Listlist);} 2、Mapper.xml中说明：通过trim标签拼接前后缀和去除多余的逗号，parameterType即是参数list中的元素—实体类（必须写），item是list中元素的实体类的实例
通常的数据同步中，如果数据量比较少的话可以直接全量同步，默认情况下，完整的检索结果集会将其存储在内存中。在大多数情况下，这是最有效的操作方式，并且由于MySQL网络协议的设计，因此更易于实现。但是如果数据量很大的话，全量同步需要大量的内存，如果内存不足的话则可能会导致内存溢出。通常的会采用分页的方式，一批一批的同步，大体的实现方式如下：``intpage=1;intpageNum=1000;while(true){UserQueryRequestrequest=newUserQueryRequest();request.setPage(page);request.setPageSize(pag
背景：物联网平台背景，传感器采集频率干到了1000Hz，分了100多张表出来，还是把mysql干炸了。当前单表数据量在1000来w，从kafka上拉数据异步批量插入，每次插入数据量1500条，测试的时候还没问题，结果上线没多久，kafka服务器直接挂了，赶忙看日志，kafka服务器堆积了几十G的数据，再去看生产环境日志，发现到最后单次批量插入用时固定在10多秒，甚至20多秒，kafka直接把消费端踢出了消费组…从而kafka消息一直没有消费，总重导致kafka数据堆积挂掉了…在这样的情况下：采取的处理方案无非就分库分表，减少单表数据量，降低数据库压力；提高批量插入效率，提高消费者消费速度。本文
背景：物联网平台背景，传感器采集频率干到了1000Hz，分了100多张表出来，还是把mysql干炸了。当前单表数据量在1000来w，从kafka上拉数据异步批量插入，每次插入数据量1500条，测试的时候还没问题，结果上线没多久，kafka服务器直接挂了，赶忙看日志，kafka服务器堆积了几十G的数据，再去看生产环境日志，发现到最后单次批量插入用时固定在10多秒，甚至20多秒，kafka直接把消费端踢出了消费组…从而kafka消息一直没有消费，总重导致kafka数据堆积挂掉了…在这样的情况下：采取的处理方案无非就分库分表，减少单表数据量，降低数据库压力；提高批量插入效率，提高消费者消费速度。本文
大家好啊，我是司空，最近在工作闲暇之余正在学springBoot，学到了关于mybatis的配置，里面涉及到几个不同层之间的使用让我有点摸不着头脑，没法，公司用的还是十年前的老框架，对于现在这些框架真没啥了解，不过MVC机制是没有变了，我也就结合我所学的内容和工作中的实际经验，谈一谈我对这几个层之间的了解吧。基本了解话不多说先上图上图用的是我整理思路的时的草图，不具备专业性，大家别当真了哈，看看思路就好dao层：用于定义操作数据库的接口方法，需要怎么调数据库就定义什么方法在这mapper层：用于直接对数据库进行操作，sql语句就写这service层：用于定义业务实现的接口方法，需要实现
大家好啊，我是司空，最近在工作闲暇之余正在学springBoot，学到了关于mybatis的配置，里面涉及到几个不同层之间的使用让我有点摸不着头脑，没法，公司用的还是十年前的老框架，对于现在这些框架真没啥了解，不过MVC机制是没有变了，我也就结合我所学的内容和工作中的实际经验，谈一谈我对这几个层之间的了解吧。基本了解话不多说先上图上图用的是我整理思路的时的草图，不具备专业性，大家别当真了哈，看看思路就好dao层：用于定义操作数据库的接口方法，需要怎么调数据库就定义什么方法在这mapper层：用于直接对数据库进行操作，sql语句就写这service层：用于定义业务实现的接口方法，需要实现
最近在压测一批接口，发现接口处理速度慢的有点超出预期，感觉很奇怪，后面定位发现是数据库批量保存这块很慢。 这个项目用的是mybatis-plus，批量保存直接用的是mybatis-plus提供的saveBatch。我点进去看了下源码，感觉有点不太对劲： 继续追踪了下，从这个代码来看，确实是for循环一条一条执行了sqlSession.insert，下面的consumer执行的就是上面的sqlSession.insert： 然后累计一定数量后，一批flush。从这点来看，这个saveBach的性能肯定比直接一条一条insert快。我直接进行一个粗略的实验，简单创建了一张表来对比一波！ 1、100
