0.背景近来我们公司搞小文件治理（小于10Mb），小文件太多的危害就不此赘述了。公司的开发人员提供的合并小文件治理配置如下：--设置小文件合并sethive.merge.mapfiles=true;sethive.merge.mapredfiles=true;sethive.merge.size.per.task=256000000;sethive.merge.smallfiles.avgsize=256000000;看上去配置的没啥问题，不管是Map-only，还是MapReduce都考虑到了，只要输出的文件小于这个值，就重新启动一个MR去执行文件合并。看也符合Hive官网的配置解释然而现实
0.背景近来我们公司搞小文件治理（小于10Mb），小文件太多的危害就不此赘述了。公司的开发人员提供的合并小文件治理配置如下：--设置小文件合并sethive.merge.mapfiles=true;sethive.merge.mapredfiles=true;sethive.merge.size.per.task=256000000;sethive.merge.smallfiles.avgsize=256000000;看上去配置的没啥问题，不管是Map-only，还是MapReduce都考虑到了，只要输出的文件小于这个值，就重新启动一个MR去执行文件合并。看也符合Hive官网的配置解释然而现实
这里使用的是dynamic-datasource-spring-boot-starter，它是一个基于springboot的快速集成多数据源的启动器。1.首先在pom文件引入dynamic-datasource-spring-boot-startercom.baomidoudynamic-datasource-spring-boot-starter3.3.22.application.yml配置文件内容如下：spring:datasource:dynamic:primary:master#设置默认的数据源，默认值为masterstrict:false#是否弃用严格模式，如果启用在味匹配到指定数
这里使用的是dynamic-datasource-spring-boot-starter，它是一个基于springboot的快速集成多数据源的启动器。1.首先在pom文件引入dynamic-datasource-spring-boot-startercom.baomidoudynamic-datasource-spring-boot-starter3.3.22.application.yml配置文件内容如下：spring:datasource:dynamic:primary:master#设置默认的数据源，默认值为masterstrict:false#是否弃用严格模式，如果启用在味匹配到指定数
为了提高应用的可靠性，多数据源现在也很常见，数据库可以搭建双M结构，这个松哥之前也发文和大家分享过如何搭建双M结构的主从备份？，那么Java代码里该如何操作多数据源呢？我在19年的时候写过几篇文章教大家配置JdbcTemplate、MyBatis以及JPA中的多数据源（公众号江南一点雨后台回复666有相关的资料），不过那几篇文章的整体思路都是弄多个Dao层实例，然后手动选择用哪个实例，这样总感觉不太方便。MyBatis-Plus也提供了相应的工具，感兴趣的小伙伴可以自行尝试。今天我想带领小伙伴们，利用AOP的思想，自己来写一个简单的多数据源切换工具。1.预备知识想要自定义动态数据源切换，得先了
为了提高应用的可靠性，多数据源现在也很常见，数据库可以搭建双M结构，这个松哥之前也发文和大家分享过如何搭建双M结构的主从备份？，那么Java代码里该如何操作多数据源呢？我在19年的时候写过几篇文章教大家配置JdbcTemplate、MyBatis以及JPA中的多数据源（公众号江南一点雨后台回复666有相关的资料），不过那几篇文章的整体思路都是弄多个Dao层实例，然后手动选择用哪个实例，这样总感觉不太方便。MyBatis-Plus也提供了相应的工具，感兴趣的小伙伴可以自行尝试。今天我想带领小伙伴们，利用AOP的思想，自己来写一个简单的多数据源切换工具。1.预备知识想要自定义动态数据源切换，得先了
背景之前有文章提供了springboot多数据源动态注册切换的整合方案，在后续使用过程中，发现在事务控制中有多种bug发生，决定对此问题进行分析与解决前情提要多数据源切换流程结构图如下所示，包含几个组成元素自定义的数据源配置处理，通过DruidDataSource对象动态注册到系统中自定义数据源标识注解与切面数据源切换时的上下文线程变量持有者自定义AbstractRoutingDataSource，实现数据源路由切换[图片上传失败...(image-dd06c1-1651385484819)]问题分析在Controller加入@Transitional注解后，数据源切换会失效，只会操作主库，查
背景之前有文章提供了springboot多数据源动态注册切换的整合方案，在后续使用过程中，发现在事务控制中有多种bug发生，决定对此问题进行分析与解决前情提要多数据源切换流程结构图如下所示，包含几个组成元素自定义的数据源配置处理，通过DruidDataSource对象动态注册到系统中自定义数据源标识注解与切面数据源切换时的上下文线程变量持有者自定义AbstractRoutingDataSource，实现数据源路由切换[图片上传失败...(image-dd06c1-1651385484819)]问题分析在Controller加入@Transitional注解后，数据源切换会失效，只会操作主库，查
image.pngimage.png大家好，又见面了。到这里呢，已经是本SpringDataJPA系列文档的第四篇了，先来回顾下前面三篇：在第1篇《SpringDataJPA系列1：JDBC、ORM、JPA、SpringDataJPA，傻傻分不清楚？给你个选择SpringDataJPA的理由！》中，我们对JPA的整体概念有了全面的了解。在第2篇《SpringDataJPA系列2：快速在SpringBoot项目中熟练使用JPA》中也知晓了SpringBoot项目快速集成SpringDataJPA以及快速上手使用JPA来进行基本的项目开发的技能。在第3篇《SpringDataJPA系列3：JPA项
image.pngimage.png大家好，又见面了。到这里呢，已经是本SpringDataJPA系列文档的第四篇了，先来回顾下前面三篇：在第1篇《SpringDataJPA系列1：JDBC、ORM、JPA、SpringDataJPA，傻傻分不清楚？给你个选择SpringDataJPA的理由！》中，我们对JPA的整体概念有了全面的了解。在第2篇《SpringDataJPA系列2：快速在SpringBoot项目中熟练使用JPA》中也知晓了SpringBoot项目快速集成SpringDataJPA以及快速上手使用JPA来进行基本的项目开发的技能。在第3篇《SpringDataJPA系列3：JPA项
