提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

​​​​​​​​​​​​​​

目录

前言

一、多源同步是什么？

二、多源同步的架构

三、使用步骤

1.多源同步之初见

2.TDSQL同步功能初体验

总结

---

---

前言

      随着5G时代的快速发展，企业的组织架构越来越复杂，业务系统越来越多。各种业务系统之间彼此独立，形成了企业信息化建设中的烟囱。解决各系统数据和功能的烟囱壁垒，实现资源复用和共享，实现数据的融合融通，Devops快速迭代，已成为业务发展的必然趋势。在数据库日常维护工作中，数据库升级，数据库替换，数据库迁移都需要用到数据同步功能。腾讯云数据库TDSQL多源同步功能可以很好的解决各业务系统，各数据库之间的数据同步问题。本文简单分享一下本人对于腾讯云数据库TDSQL多源同步功能的使用感受，希望该功能可以越做越好，助力国产数据库的发展。

一、多源同步是什么？

    根据腾讯官方文档描述：多源同步模块是腾讯云所开发的高性能，高一致，支持多种异构数据平台的数据分发服务。该服务支持以 TDSQL 作为源端的数据实时同步分发至MySQL,ORACLE, POSTGRES,KAFKA 等平台，同时也支持 MySQL 或者 ORACLE 的数据实时同 步至 TDSQL 中,并且部署灵活，支持一对多，多对一等多种复制拓扑结构。当前该服务的官网名称为“数据同步”，是作为一个子功能集成在腾讯云 TencentDB for TDSQL 产品中。

二、多源同步的架构

     以下截图来自腾讯多源同步官方文档，用于帮助理解多源同步功能

     使用多源同步功能需要安装kafka组件和consumer组件，onsumer安装成功后可以看到如下两个进程：

三、使用步骤

1.多源同步之初见

      登录腾讯TDSQL赤兔管理平台，左侧菜单选择数据同步-多源同步，可以看到创建【TDSQL同步】，创建【其他数据库同步】两个同步功能，如下图：

点击创建【TDSQL同步】显示如下同步界面:

      该界面提供源TDSQL集群和实例的选择，目标TDSQL集群和实例的选择，可见【TDSQL同步】可以提供的功能是TDSQL集群内部不同实例之间的数据同步，TDSQL不同集群不同实例之间的数据同步。

 点击创建【其他数据库同步】显示如下同步界面:

      该界面提供源TDSQL集群和实例的选择，目标实例的选择。目标实例可以选择自建MySQL,PostgreSQL,ORACLE,Ckafka.可见【TDSQL同步】可以提供的功能是TDSQL集群实例到MySQL,PostgreSQL,ORACLE,Ckafka四种类型数据库的数据同步。

        在TDSQL赤兔管理平台并没有看到MySQL,PostgreSQL,ORACLE到TDSQL实例的数据同步功能，不知道是否是因为本人拿到的版本是测试版，所以未提供该功能。业务如果想要使用TDSQL数据库，MySQL,PostgreSQL,ORACLE到TDSQL实例的数据同步应该首先是最需要的功能。希望后期可以尽快体验到多源同步MySQL,PostgreSQL,ORACLE到TDSQL实例的数据同步功能。

2.TDSQL同步功能初体验

     为了测试TDSQL同步功能，本人创建了一个分布式实例作为目标库，监控库作为源库。TDSQL同步任务初始化界面配置如下：

---

       点击下一步，进入选择库列表界面，这里可以看到全量匹配，精确匹配，正则匹配三个功能。初次测试，打算只同步一张表，所以选择了精确匹配。数据匹配库这里的格式需要特别注意，为了处理一些库表名包含特殊字符的场景，这里的库表名都需要使用“ ` ”飘号包括在内。

  插入之前在非分布式实例监控库创建test数据库，并创建test1表，插入一条数据，用于同步测试

[root@tdsql01 tdsql_install]# mysql -h192.168.92.132 -uhanlon -p123456 -P15001
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 200990
Server version: 5.7.35-V2.0R681D005-v17-20210125-2105-log Source distribution

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [(none)]> show databases;
+---------------------+
| Database            |
+---------------------+
| information_schema  |
| mysql               |
| performance_schema  |
| sys                 |
| sysdb               |
| tdsqlpcloud         |
| tdsqlpcloud_monitor |
+---------------------+
7 rows in set (0.12 sec)

MySQL [(none)]> create database test;
Query OK, 1 row affected (0.01 sec)

MySQL [(none)]> use test
Database changed


MySQL [test]> insert into test1 values(1,'test1');
Query OK, 1 row affected (0.13 sec)

MySQL [test]> 

 这里我按照习惯输入表名，没有使用“ ` ”飘号包括在内，填写完毕，鼠标离开编辑窗口后，系统自动在使用“ ` ”飘号库名和表名包括在内，这个功能非常智能，人性化，可以有效避免人为疏漏。

 点击下一步：

点击开始创建

提示同步库为空，请点击预览，点击确认，点击上一步，点击数据匹配库下面的预览

没有看到异常信息，初步猜测是因为目标实例没有创建test库，于是在目标实例创建test库

[root@tdsql01 tdsql_install]# mysql -h192.168.92.132 -uadmin -p123456 -P15002
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 4194305
Server version: 8.0.22-v18-txsql-2.0.1-V2.0R692D001-20210623-1106 Source distribution

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| sysdb              |
+--------------------+
5 rows in set (0.66 sec)

MySQL [(none)]> create database test;
Query OK, 1 row affected (0.25 sec)

MySQL [(none)]> use test;
Database changed
MySQL [test]> show tables;
Empty set (0.00 sec)

MySQL [test]> 

 再次点击下一步，点击开始创建，显示如下界面

 可见确实是因为目标库不存在，导致报错。该同步功能不会自动在目标实例创建目标库。个人认为该功能还存在优化空间，建议对该功能可以进一步优化：

1.目标库不存在时系统自动创建目标库

2.目标库不存在时系统报错：目标库不存在，而不是同步库不存在。报错信息更加清晰明了，便于使用人员傻瓜式使用，而不是去猜测同步库不存在的具体含义。

 点击开始创建后点击立即开启，无法开启同步任务，错误描述显示初始化，根据该错误描述无法判断错误原因。点击关闭该界面，显示如下：

系统产生了一条任务状态为停止的同步任务，同步状态为异常，依然看不到异常的原因。查看消费者进程，发现多了一条binlogconsumer进程，说明同步任务进程已经创建，只是因为某种原因没有正常执行。

因本次测试使用的源实例是系统使用的监控库，怀疑是不是系统使用的数据库不能作为源库。后期计划创建新的非分布式实例，再次测试，测试结果将持续更新

总结

1.根据腾讯官方文档说明多源同步可以支持非TDSQL数据库到TDSQL的数据同步，但是实际使用TDSQL的多源同步功能发现并没有非TDSQL到TDSQL的同步功能，不知道是否因为版本限制，建议官方文档做进一步说明。

2.选择库列表输入数据匹配库的时候，库名和表名需要使用“ ` ”飘号包括在内，在没有使用“ ` ”飘号包括在内的情况下，系统会自动增加“ ` ”飘号将库名和表名包括在内，该功能非常智能，非常人性化，可以有效避免人为输入错误。

3.目标库不存在的情况下提示同步库不存在，报错信息不够清晰明了，建议

（1）.目标库不存在时系统自动创建目标库

（2）.目标库不存在时系统报错：目标库不存在，而不是同步库不存在。报错信息更加清晰明了，便于使用人员傻瓜式使用，而不是去猜测同步库不存在的具体含义。

4.使用监控库作为源库创建同步任务，点击开始创建后点击立即开启，无法开启同步任务，错误描述显示初始化，根据该错误描述无法判断错误原因。同步任务状态显示停止，同步状态显示异常，建议该功能可以做进一步优化，系统自动判断同步异常原因，并给出用户明确的提示，以便用户进一步的操作。