导航：【Java笔记+踩坑汇总】Java基础+JavaWeb+SSM+SpringBoot+SpringCloud+瑞吉外卖/黑马旅游/谷粒商城/学成在线+设计模式+面试题汇总+性能调优/架构设计+源码-CSDN博客目录一、分库分表基本概念二、分库分表的场景和核心思想三、分库分表具体步骤3.1分库分表的原则：能不分就不分3.2目标评估3.3表拆分3.3.1业务层面拆分3.3.1.1混合业务拆分3.3.1.2冷热分离3.3.2数据层面拆分3.4分表字段（sharding_key）选择3.5代码改造3.6数据迁移3.6.1增量同步3.6.2全量同步3.7数据一致性校验和补偿3.8灰度切读3.9停旧

一、按照月分片　　使用场景为按照自然月来分片，每个自然月为一个分片，但是一年有12个月，是不是要有12个数据节点才行呢？并不是。例如我现在只有三个分片数据库，这样就可以1月在第一个数据分片中，2月在第二个数据分片中，3月在第三个数据分片中，当来到4月的时候，就会重新开始分片，4月在第一个数据分片，5月在第二个数据分片，6月在第三个数据分片，以此类推。　　　　说明1：从开始时间开始，一个月为一个分片，到达结束时间之后，会重复开始分片插入　　说明2：配置表的dataNode的分片，必须和分片规则数量一致，例如：2023-01-01到2023-12-31，一共就需要12个数据节点　　说明3：我只有三

一、垂直分库场景　　场景：在业务系统中，涉及一下表结构，但是由于用户与订单每天都会产生大量的数据，单台服务器的数据存储以及处理能力是有限的，可以对数据库表进行拆分，原有数据库如下　　　　说明1：整个业务系统中的表，大致分为四个，商品信息类的表，订单相关的表，用户相关表及省市区相关的表，这里暂时将省市区的表和用户相关的表放在一个数据节点上。　　说明2：因为商品，订单和用户相关的数据，每天都会产生海量的数据，所以我们采取的分库策略是将不同业务类型数据，放在不同数据库中，即垂直分库。 二、准备工作　　在192.168.3.90，192.168.3.91，192.168.3.92三台服务器上创建sho

一、介绍　　单库瓶颈：如果在项目中使用的都是单MySQL服务器，则会随着互联网及移动互联网的发展，应用系统的数据量也是成指数式增长，若采用单数据库进行存储，存在一下性能瓶颈：IO瓶颈：热点数据太多，数据库缓存不足，产生大量磁盘IO,效率低下，请求数据太多，带宽不够，网络IO瓶颈。CPU瓶颈：排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源，请求数太多，CPU出现瓶颈。　　分库分表：就是将数据分散存储，是将单一数据库/表的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的。　　二、拆分策略　　　　2.1垂直分库　　　　特点：以表为依据，根据业务将不同表拆分到不同库中。

一、ShardingSphere产品介绍​ShardingSphere是一款起源于当当网内部的应用框架。2015年在当当网内部诞生，最初就叫ShardingJDBC。2016年的时候，由其中一个主要的开发人员张亮，带入到京东数科，组件团队继续开发。在国内历经了当当网、电信翼支付、京东数科等多家大型互联网企业的考验，在2017年开始开源。并逐渐由原本只关注于关系型数据库增强工具的ShardingJDBC升级成为一整套以数据分片为基础的数据生态圈，更名为ShardingSphere。到2020年4月，已经成为了Apache软件基金会的顶级项目。发展至今，已经成为了业界分库分表最成熟的产品。​Sha

MySQL分库分表篇分库分表介绍使用背景当【表的数量】达到了几百上千张表时，众多的业务模块都访问这个数据库，压力会比较大，考虑对其进行分库。当【表的数据】达到了几千万级别，在做很多操作都比较吃力,所以，考虑对其进行分库或者分表数据切分（sharding）方案数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式：垂直切分：按照业务模块进行切分，将不同模块的表切分到不同的数据库中。水平切分：将一张大表按照一定的切分规则，按照行切分成不同的表或者切分到不同的库中。切分规则常用的切分规则有以下几种：按照ID取模：对ID进行取模，余数决定该行数据切分到哪个表或者库中按照日期：按照年月

文章目录MySQL数据库性能优化思路【面试题】不分库分表软优化硬优化分库分表结论分库分表能解决的问题解决数据库本身瓶颈连接数解决系统本身IO、CPU瓶颈分库分表带来的问题问题⼀跨节点数据库Join关联查询问题二分库操作带来的分布式事务问题问题三执行的SQL排序、翻页、函数计算问题问题四数据库全局主键重复问题问题五容量规划,分库分表后二次扩容问题问题六分库分表技术选型问题不能⼀上来就说分库分表！MySQL数据库性能优化思路【面试题】根据实际情况分析，两个角度思考：不分库分表、分库分表不分库分表软优化数据库参数调优分析慢查询SQL语句，分析执行计划，进行sql改写和程序改写优化数据库索引结构优化数

一、数据切分介绍关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。数据库分布式核心内容就是数据切分（Sharding），以及切分后对数据的定位、整合。数据切分就是将数据分散存储到多个数据库中，使得单一数据库中的数据量变小，通过扩充主机的数量缓解单一数据库的性能问题，从而达到提升数据库操作性能的目的。数据切分根据其切分类型，可以分为两种方式：垂直（纵向）切分和水平（横向）切分。1、垂

一、数据拆分概念1、场景描述随着业务发展，数据量的越来越大，业务系统越来越复杂，拆分的概念逻辑就应运而生。数据层面的拆分，主要解决部分表数据过大，导致处理时间过长，长期占用链接，甚至出现大量磁盘IO问题，严重影响性能；业务层面拆分，主要解决复杂的业务逻辑，业务间耦合度过高，容易引起雪崩效应，业务库拆分，微服务化分布式，也是当前架构的主流方向。2、基本概念04-1.png分区模式针对数据表做分区模式，所有数据，逻辑上还存在一张表中，但是物理堆放不在一起，会根据一定的规则堆放在不同的文件中。查询数据的时候必须按照指定规则触发分区，才不会全表扫描。不可控因素过多，风险过大，一般开发规则中都是禁止使用

1、简介ApacheShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由JDBC、Proxy和Sidecar（规划中）这3款相互独立，却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。​ApacheShardingSphere定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。它通过关注不变，进而抓住事物本质。关系型数据库当今依然占有巨大市场，是各个公司核心业务的基石，未来也难于撼动，我