1添加依赖org.apache.shardingspheresharding-jdbc-core${sharding.version}2分库分表数选择根据未来两年的业务量，估算两年的业务总量M，单表数据量不能超过N（需要看具体业务场景，字段少的可以适量多一些，可与架构师及部门经验丰富的同事探讨，最大不要超过1000W）;总的分表数量K≥M/N，且K值向上取接近的最小2的次幂。例如业务总量M=10亿，单表数量N≤700W，则M/N≈143，向上取最小的2次幂为：143＜2的8次方=256，故总的分表数量为256。可将分表数设定的尽可能的小，一台服务器存放多个库，业务增长后，磁盘不足时，可将该服务
1添加依赖org.apache.shardingspheresharding-jdbc-core${sharding.version}2分库分表数选择根据未来两年的业务量，估算两年的业务总量M，单表数据量不能超过N（需要看具体业务场景，字段少的可以适量多一些，可与架构师及部门经验丰富的同事探讨，最大不要超过1000W）;总的分表数量K≥M/N，且K值向上取接近的最小2的次幂。例如业务总量M=10亿，单表数量N≤700W，则M/N≈143，向上取最小的2次幂为：143＜2的8次方=256，故总的分表数量为256。可将分表数设定的尽可能的小，一台服务器存放多个库，业务增长后，磁盘不足时，可将该服务
最近在数据处理中用到了窗函数,把使用方法记录一下,暂时只有分组排序和滑动时间窗口的例子,以后再逐步添加场景在SQL查询时,会遇到有两类需要分组统计的场景,在之前的SQL语法中是不方便实现的场景1:顾客维修设备的记录表,每次维修产生一条记录,每个记录包含时间,顾客ID和维修金额,要取出每个顾客的维修次数和最后一次维修时的金额场景2:还是上面的维修记录表,要取出每个顾客的每次维修之间的时间间隔场景3:一个用户账户的交易流水表,要求每个小时的交易笔数和平均收支金额,这个平均数的统计范围是两个小时(整点时间的前后一个小时)使用窗函数直接SQL中使用窗函数就能解决这些问题,否则需要使用临时表,函数或存储
最近在数据处理中用到了窗函数,把使用方法记录一下,暂时只有分组排序和滑动时间窗口的例子,以后再逐步添加场景在SQL查询时,会遇到有两类需要分组统计的场景,在之前的SQL语法中是不方便实现的场景1:顾客维修设备的记录表,每次维修产生一条记录,每个记录包含时间,顾客ID和维修金额,要取出每个顾客的维修次数和最后一次维修时的金额场景2:还是上面的维修记录表,要取出每个顾客的每次维修之间的时间间隔场景3:一个用户账户的交易流水表,要求每个小时的交易笔数和平均收支金额,这个平均数的统计范围是两个小时(整点时间的前后一个小时)使用窗函数直接SQL中使用窗函数就能解决这些问题,否则需要使用临时表,函数或存储
分库分表，是企业里面比较常见的针对高并发、数据量大的场景下的一种技术优化方案，也是一个非常高频的面试题。但是，因为很多人其实并没有非常丰富的分库分表的经验，所以能把这个问题回答得比较好的人其实还挺少的。 那么，本文就来试图把关于分库分表的事情，一次性讲个清楚。 一、分库，分表，分库分表 首先，我们需要知道所谓"分库分表"，根本就不是一件事儿，而是三件事儿，他们要解决的问题也都不一样。 这三个事儿分别是"只分库不分表"、"只分表不分库"、以及"既分库又分表"。 1、什么时候分库？ 其实，分库主要解决的是并发量大的问题。因为并发量一旦上来了，那么数据库就可能会成为瓶颈，因为数据库的连接数是有限
分库分表，是企业里面比较常见的针对高并发、数据量大的场景下的一种技术优化方案，也是一个非常高频的面试题。但是，因为很多人其实并没有非常丰富的分库分表的经验，所以能把这个问题回答得比较好的人其实还挺少的。 那么，本文就来试图把关于分库分表的事情，一次性讲个清楚。 一、分库，分表，分库分表 首先，我们需要知道所谓"分库分表"，根本就不是一件事儿，而是三件事儿，他们要解决的问题也都不一样。 这三个事儿分别是"只分库不分表"、"只分表不分库"、以及"既分库又分表"。 1、什么时候分库？ 其实，分库主要解决的是并发量大的问题。因为并发量一旦上来了，那么数据库就可能会成为瓶颈，因为数据库的连接数是有限
本文从5W1H角度介绍了分库分表手段，其在解决如IO瓶颈、读写性能、物理存储瓶颈、内存瓶颈、单机故障影响面等问题的同时也带来如事务性、主键冲突、跨库join、跨库聚合查询等问题。anyway，在综合业务场景考虑，正如缓存的使用一样，本着非必须勿使用原则。如数据库确实成为性能瓶颈时，在设计分库分表方案时也应充分考虑方案的扩展性，或者考虑采用成熟热门的分布式数据库解决方案，如TiDB。阅读此文你将了解：什么是分库分表以及为什么分库分表如何分库分表分库分表常见几种方式以及优缺点如何选择分库分表的方式 数据库常见优化方案对于后端程序员来说，绕不开数据库的使用与方案选型，那么随着业务规模的逐渐扩大
本文从5W1H角度介绍了分库分表手段，其在解决如IO瓶颈、读写性能、物理存储瓶颈、内存瓶颈、单机故障影响面等问题的同时也带来如事务性、主键冲突、跨库join、跨库聚合查询等问题。anyway，在综合业务场景考虑，正如缓存的使用一样，本着非必须勿使用原则。如数据库确实成为性能瓶颈时，在设计分库分表方案时也应充分考虑方案的扩展性，或者考虑采用成熟热门的分布式数据库解决方案，如TiDB。阅读此文你将了解：什么是分库分表以及为什么分库分表如何分库分表分库分表常见几种方式以及优缺点如何选择分库分表的方式 数据库常见优化方案对于后端程序员来说，绕不开数据库的使用与方案选型，那么随着业务规模的逐渐扩大
即使是不懂编程的玩家，在对比NAS的时候，也会两眼放光，考虑很多因素，比如RAID级别、速度、易用程度等。作为时时刻刻与代码打交道的我们，更需要关注数据的存取问题。一开始，开箱即用的MySQL，一定是企业的首选。不仅仅因为用的人多，更重要的是生态成熟。要工具有工具，要人有人。对于老板来说，员工看着不爽，可以随时辞退，是一个非常理想的状态。但是，没有胸怀的老板，干的一定不会长久，因为如果商务会吹、老板会忽悠，业务会飞速发展（虽然现在这种机会比较少了）。对于MySQL来说，很快就会遇到问题。这个时候，就需要一些比只会用MySQL级别高一些的人才，来配合老板圆梦。是时候了，由单机MySQL向分布式发
即使是不懂编程的玩家，在对比NAS的时候，也会两眼放光，考虑很多因素，比如RAID级别、速度、易用程度等。作为时时刻刻与代码打交道的我们，更需要关注数据的存取问题。一开始，开箱即用的MySQL，一定是企业的首选。不仅仅因为用的人多，更重要的是生态成熟。要工具有工具，要人有人。对于老板来说，员工看着不爽，可以随时辞退，是一个非常理想的状态。但是，没有胸怀的老板，干的一定不会长久，因为如果商务会吹、老板会忽悠，业务会飞速发展（虽然现在这种机会比较少了）。对于MySQL来说，很快就会遇到问题。这个时候，就需要一些比只会用MySQL级别高一些的人才，来配合老板圆梦。是时候了，由单机MySQL向分布式发
