ES迁移到同构库可以直接用ES的集群迁移工具，但是异构库就不能直接用现有的工具了；参考ESreindex工具的底层实现api，我们选择用ScroolApi来通过程序迁移；迁移之前需要准备es表所有字段的长度的最大值，因为历史数据跨度5年，且是非结果化数据，所有长度没有固定长度，tidb的所有字段需要设置成最大值，或者按照业务允许的原则截取存储es因为是非结构化数据，历史数据可能的字段个数和名字都有不一样的，这种需要提前统计分析出来评估迁移数量数量，以此评估目标数据库需要准备的磁盘空间大小及目标库的存储方案评估迁移周期评估迁移数据任务是否影响目标库的生产业务开展迁移程序设计数据准
主从配置和分库分表Sharding-Sphere组成Sharding-JDBCSharding-ProxySharding-Sidecar（TODO）Sharding-JDBC表的概念逻辑表广播表绑定表Sharding-JDBC中的分片策略自动分片算法标准分片算法复合分片算法自定义分片算法分布式序列算法Sharding-Sphere实战shardingsphere的sql日志无法打印问题配置的雪花算法不生效Field'brand_id'doesn'thaveadefaultvalueInsertstatementdoesnotsupportshardingtableroutingtomulti
主从配置和分库分表Sharding-Sphere组成Sharding-JDBCSharding-ProxySharding-Sidecar（TODO）Sharding-JDBC表的概念逻辑表广播表绑定表Sharding-JDBC中的分片策略自动分片算法标准分片算法复合分片算法自定义分片算法分布式序列算法Sharding-Sphere实战shardingsphere的sql日志无法打印问题配置的雪花算法不生效Field'brand_id'doesn'thaveadefaultvalueInsertstatementdoesnotsupportshardingtableroutingtomulti
作者：京东零售梁强1、背景这篇主要描述了B端令牌系统应用数据分表解决业务数据量增大，且存在的数据倾斜问题，主要面向的场景是一对多数据倾斜问题1）B令牌的业务背景先简述一下B令牌的业务背景，B令牌系统是用于营销场景中，将许多用户绑定在一个令牌上，再将令牌绑定在促销上，从而实现差异和精准营销，一般情况下一个令牌的生命周期等同于这个促销。2）B端令牌的结构现状令牌和令牌用户关系是一个一对多的关系，早期的令牌系统使用jed分库，2个分片，中间进行了一次扩容达到了8个分片，存储的数据行数达到了1.2亿3）数据和业务现状1.2亿数据，分布在8个分库中，每个分库平均1500万，但由于分库字段使用的是令牌ID
作者：京东零售梁强1、背景这篇主要描述了B端令牌系统应用数据分表解决业务数据量增大，且存在的数据倾斜问题，主要面向的场景是一对多数据倾斜问题1）B令牌的业务背景先简述一下B令牌的业务背景，B令牌系统是用于营销场景中，将许多用户绑定在一个令牌上，再将令牌绑定在促销上，从而实现差异和精准营销，一般情况下一个令牌的生命周期等同于这个促销。2）B端令牌的结构现状令牌和令牌用户关系是一个一对多的关系，早期的令牌系统使用jed分库，2个分片，中间进行了一次扩容达到了8个分片，存储的数据行数达到了1.2亿3）数据和业务现状1.2亿数据，分布在8个分库中，每个分库平均1500万，但由于分库字段使用的是令牌ID
作者：京东零售梁强1、背景这篇主要描述了B端令牌系统应用数据分表解决业务数据量增大，且存在的数据倾斜问题，主要面向的场景是一对多数据倾斜问题1）B令牌的业务背景先简述一下B令牌的业务背景，B令牌系统是用于营销场景中，将许多用户绑定在一个令牌上，再将令牌绑定在促销上，从而实现差异和精准营销，一般情况下一个令牌的生命周期等同于这个促销。2）B端令牌的结构现状令牌和令牌用户关系是一个一对多的关系，早期的令牌系统使用jed分库，2个分片，中间进行了一次扩容达到了8个分片，存储的数据行数达到了1.2亿3）数据和业务现状1.2亿数据，分布在8个分库中，每个分库平均1500万，但由于分库字段使用的是令牌ID
作者：京东零售梁强1、背景这篇主要描述了B端令牌系统应用数据分表解决业务数据量增大，且存在的数据倾斜问题，主要面向的场景是一对多数据倾斜问题1）B令牌的业务背景先简述一下B令牌的业务背景，B令牌系统是用于营销场景中，将许多用户绑定在一个令牌上，再将令牌绑定在促销上，从而实现差异和精准营销，一般情况下一个令牌的生命周期等同于这个促销。2）B端令牌的结构现状令牌和令牌用户关系是一个一对多的关系，早期的令牌系统使用jed分库，2个分片，中间进行了一次扩容达到了8个分片，存储的数据行数达到了1.2亿3）数据和业务现状1.2亿数据，分布在8个分库中，每个分库平均1500万，但由于分库字段使用的是令牌ID
背景早上收到某系统的告警tidb节点挂掉无法访问，情况十万火急。登录中控机查了一下display信息，4个TiDB、Prometheus、Grafana全挂了，某台机器hang死无法连接，经过快速重启后集群恢复，经排查后是昨天上线的某个SQL导致频繁OOM。于是开始亡羊补牢，来一波近期慢SQL巡
背景早上收到某系统的告警tidb节点挂掉无法访问，情况十万火急。登录中控机查了一下display信息，4个TiDB、Prometheus、Grafana全挂了，某台机器hang死无法连接，经过快速重启后集群恢复，经排查后是昨天上线的某个SQL导致频繁OOM。于是开始亡羊补牢，来一波近期慢SQL巡
TiDB是一个分布式NewSQL数据库。它支持水平弹性扩展、ACID事务、标准SQL、MySQL语法和MySQL协议，具有数据强一致的高可用特性，是一个不仅适合OLTP场景还适合OLAP场景的混合数据库。TiDB是PingCAP公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP）的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库、兼容MySQL5.7协议和MySQL生态等重要特性。目标是为用户提供一站式OLTP(Onli
