云时代已经来临，云上很多场景下都需要数据的迁移、备份和流转，各大云厂商也大都提供了自己的迁移工具。本文主要介绍京东云数据库为解决用户数据迁移的常见场景所提供的解决方案。场景一：数据迁移上云数据迁移上云是最常见的一类场景，目前京东云提供了两个DTS（DataTransformationService）迁移工具供选择，一个是数据迁移，一个是数据同步：二者的主要区别如下：下面是这两个工具使用中的一些常见问题：01两个迁移工具的原理是什么？以MySQL为例，两个工具都有全量迁移/增量迁移/数据校验三个阶段，这三个阶段的主要原理如下：全量阶段：数据迁移使用mysqldump--single-transa
简述ApacheDoris是一个现代化的MPP分析型数据库产品，仅需亚秒级响应时间即可获得查询结果，能有效地支持实时数据分析。本文主要介绍如何使用CloudCanal快速构建一条稳定高效运行的PostgreSQL到Doris数据同步链路。技术点基于StreamLoad的导入方式Doris提供了多种导入方式。CloudCanal采用了StreamLoad的方式进行导入，源端的消息会转成字节流，最后会以Batch的形式通过HTTP协议发往Doris。相比直接通过SQL写入的方式，StreamLoad方式会有更好的性能，写入的数据直接经FE转发给BE处理。如果直接采用SQL写入，在FE侧，会有额外的
简述ApacheDoris是一个现代化的MPP分析型数据库产品，仅需亚秒级响应时间即可获得查询结果，能有效地支持实时数据分析。本文主要介绍如何使用CloudCanal快速构建一条稳定高效运行的PostgreSQL到Doris数据同步链路。技术点基于StreamLoad的导入方式Doris提供了多种导入方式。CloudCanal采用了StreamLoad的方式进行导入，源端的消息会转成字节流，最后会以Batch的形式通过HTTP协议发往Doris。相比直接通过SQL写入的方式，StreamLoad方式会有更好的性能，写入的数据直接经FE转发给BE处理。如果直接采用SQL写入，在FE侧，会有额外的
简述SQLServer是一个值得信赖的老牌数据库系统，自从1988年由Microsoft、Sybase和Ashton-Tate三家公司共同推出之后就一直不断迭代更新。而如今我们提到SQLServer通常是指Microsoft从SQLServer2000之后的版本。至今SQLServer家族已经非常繁茂涵盖了云上（AzureSQLServer）、IoT设备（边缘SQLServer）、以及经典版本（本地SQLServer）。实现SQLServer作为源端的实时数据同步，一般都会用到它的CDC功能，这个功能是从2008版本才开始支持。因此本文主要也是基于SQLServer2008版本介绍如何使用Cl
简述SQLServer是一个值得信赖的老牌数据库系统，自从1988年由Microsoft、Sybase和Ashton-Tate三家公司共同推出之后就一直不断迭代更新。而如今我们提到SQLServer通常是指Microsoft从SQLServer2000之后的版本。至今SQLServer家族已经非常繁茂涵盖了云上（AzureSQLServer）、IoT设备（边缘SQLServer）、以及经典版本（本地SQLServer）。实现SQLServer作为源端的实时数据同步，一般都会用到它的CDC功能，这个功能是从2008版本才开始支持。因此本文主要也是基于SQLServer2008版本介绍如何使用Cl
近年来，云计算已成为主流，企业从自身利益出发，或是不愿意被单一云服务商锁定，或是业务和数据冗余，或是出于成本优化考虑，会尝试将部分或者全部业务从线下机房迁移到云或者从一个云平台迁移到另一个云平台，业务迁移涉及到数据的迁移。正好JuiceFS已经对接了各种对象存储的API，也实现了数据同步的逻辑，让我们来了解下JuiceFS的sync命令。什么是JuiceFSSyncJuiceFS的sync子命令是功能完整的数据同步实用工具，可以在所有JuiceFS支持的对象存储之间多线程并发同步或迁移数据，既支持在「对象存储」与「JuiceFS」之间迁移数据，也支持在「对象存储」与「对象存储」之间跨云跨区迁移
近年来，云计算已成为主流，企业从自身利益出发，或是不愿意被单一云服务商锁定，或是业务和数据冗余，或是出于成本优化考虑，会尝试将部分或者全部业务从线下机房迁移到云或者从一个云平台迁移到另一个云平台，业务迁移涉及到数据的迁移。正好JuiceFS已经对接了各种对象存储的API，也实现了数据同步的逻辑，让我们来了解下JuiceFS的sync命令。什么是JuiceFSSyncJuiceFS的sync子命令是功能完整的数据同步实用工具，可以在所有JuiceFS支持的对象存储之间多线程并发同步或迁移数据，既支持在「对象存储」与「JuiceFS」之间迁移数据，也支持在「对象存储」与「对象存储」之间跨云跨区迁移
1.简介上一篇我们聊到了mongodb数据块的基本概念，和数据块迁移的主要流程（详见mongodb数据块的迁移流程介绍），这篇文章我们聊聊源码实现部分。2.迁移序列图数据块迁移的请求是从配置服务器（configserver）发给（donor，捐献方），再有捐献方发起迁移请求给目标节点（recipient，接收方），后续迁移由捐献方和接收方配合完成。数据迁移结束时，捐献方再提交迁移结果给配置服务器，三方交互序列图如下： 可以看到，序列图中的5个步骤，是对应前面文章的迁移流程中的5个步骤，其中接收方的流程控制代码在migration_destination_manager.cpp中的_migrat
1.简介上一篇我们聊到了mongodb数据块的基本概念，和数据块迁移的主要流程（详见mongodb数据块的迁移流程介绍），这篇文章我们聊聊源码实现部分。2.迁移序列图数据块迁移的请求是从配置服务器（configserver）发给（donor，捐献方），再有捐献方发起迁移请求给目标节点（recipient，接收方），后续迁移由捐献方和接收方配合完成。数据迁移结束时，捐献方再提交迁移结果给配置服务器，三方交互序列图如下： 可以看到，序列图中的5个步骤，是对应前面文章的迁移流程中的5个步骤，其中接收方的流程控制代码在migration_destination_manager.cpp中的_migrat
简述ClickHouse是一种流行的列式数据库，对于计算uv、mv、pv等聚合类数据相当友好，所以广泛使用于各类报表场景。本文主要介绍如何使用CloudCanal快速构建一条稳定高效运行的ORACLE到ClickHouse数据同步链路。示例中ORACLE库为PDB模式,ClickHouse为单副本实例。技术点ORACLE源端增量同步技术CloudCanal对于ORACLE源端增量同步采用LogMiner分析redo日志或物化视图/类trigger方式进行。对于前者，我们采用了多种优化方式，将ORACLE源端增量同步做到准确、稳定、性能几个方面的平衡，这些技术包括：采用LogMiner最标准的方
