当我们的数据达到一定的量级之后，单表甚至单库都无法支撑之时，那么，便会涉及到分库分表。分库分表的方式有多种，开源的解决方案也很多，都是围绕客户端和代理两种模式来处理的。客户端的组件比较多，很多人也在用，这里就分享一些代理模式的开源中间件ApacheShardingSphereApacheShardingSphere是一款分布式的数据库生态系统，可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。由ShardingSphere-JDBC和ShardingSphere-Proxy这2款既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的基于
简介MyCat是目前最流行的基于java语言编写的数据库中间件，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分库分表。配合数据库的主从模式还可实现读写分离。官方学习地址MyCat2已经可以使用，目前仅支持java8垂直分库就是微服务的形式，把一个服务单元拆到一个库中垂直分表把一个大表，字段多的表，拆分成多个小表，或按照查询逻辑拆分主要信息表或次要信息表水平分库把数据库集群，数据通过hash或取模的方式散到你的
简介MyCat是目前最流行的基于java语言编写的数据库中间件，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分库分表。配合数据库的主从模式还可实现读写分离。官方学习地址MyCat2已经可以使用，目前仅支持java8垂直分库就是微服务的形式，把一个服务单元拆到一个库中垂直分表把一个大表，字段多的表，拆分成多个小表，或按照查询逻辑拆分主要信息表或次要信息表水平分库把数据库集群，数据通过hash或取模的方式散到你的
摘要：SparkSQL，Tidb依赖准备需要MySQL连接器驱动mysql-connector-java，upsert操作需要一个第三方依赖mysqlmysql-connector-java5.1.36com.douninespark-sql-datasource1.0.1org.apache.sparkspark-sql_2.11org.apache.sparkspark-core_2.11代码记录先创建一个带有主键的Tidb表CREATETABLE`test`(`a`int(11)NOTNULL,`b`int(11)DEFAULTNULL,PRIMARYKEY(`a`))ENGINE=In
摘要：SparkSQL，Tidb依赖准备需要MySQL连接器驱动mysql-connector-java，upsert操作需要一个第三方依赖mysqlmysql-connector-java5.1.36com.douninespark-sql-datasource1.0.1org.apache.sparkspark-sql_2.11org.apache.sparkspark-core_2.11代码记录先创建一个带有主键的Tidb表CREATETABLE`test`(`a`int(11)NOTNULL,`b`int(11)DEFAULTNULL,PRIMARYKEY(`a`))ENGINE=In
一、背景提起分库分表，对于大部分服务器开发来说，其实并不是一个新鲜的名词。随着业务的发展，我们表中的数据量会变的越来越大，字段也可能随着业务复杂度的升高而逐渐增多，我们为了解决单表的查询性能问题，一般会进行分表操作。同时我们业务的用户活跃度也会越来越高，并发量级不断加大，那么可能会达到单个数据库的处理能力上限。此时我们为了解决数据库的处理性能瓶颈，一般会进行分库操作。不管是分库操作还是分表操作，我们一般都有两种方式应对，一种是垂直拆分，一种是水平拆分。关于两种拆分方式的区别和特点，互联网上参考资料众多，很多人都写过相关内容，这里就不再进行详细赘述，有兴趣的读者可以自行检索。此文主要详细聊一聊，
一、背景提起分库分表，对于大部分服务器开发来说，其实并不是一个新鲜的名词。随着业务的发展，我们表中的数据量会变的越来越大，字段也可能随着业务复杂度的升高而逐渐增多，我们为了解决单表的查询性能问题，一般会进行分表操作。同时我们业务的用户活跃度也会越来越高，并发量级不断加大，那么可能会达到单个数据库的处理能力上限。此时我们为了解决数据库的处理性能瓶颈，一般会进行分库操作。不管是分库操作还是分表操作，我们一般都有两种方式应对，一种是垂直拆分，一种是水平拆分。关于两种拆分方式的区别和特点，互联网上参考资料众多，很多人都写过相关内容，这里就不再进行详细赘述，有兴趣的读者可以自行检索。此文主要详细聊一聊，
