##【问题描述】开发有天碰到一个很奇怪的问题，他的场景是这样子的：通过Canal来订阅MySQL的binlog,当捕获到有数据变化时，回到数据库，反查该数据的明细，然后做进一步处理。有一次，他碰到一个诡异的现象：1.Canal收到消息，有一条主键id=31019319的数据插入2.1
##【问题描述】开发有天碰到一个很奇怪的问题，他的场景是这样子的：通过Canal来订阅MySQL的binlog,当捕获到有数据变化时，回到数据库，反查该数据的明细，然后做进一步处理。有一次，他碰到一个诡异的现象：1.Canal收到消息，有一条主键id=31019319的数据插入2.1
##【问题描述】开发有天碰到一个很奇怪的问题，他的场景是这样子的：通过Canal来订阅MySQL的binlog,当捕获到有数据变化时，回到数据库，反查该数据的明细，然后做进一步处理。有一次，他碰到一个诡异的现象：1.Canal收到消息，有一条主键id=31019319的数据插入2.1
##【问题描述】开发有天碰到一个很奇怪的问题，他的场景是这样子的：通过Canal来订阅MySQL的binlog,当捕获到有数据变化时，回到数据库，反查该数据的明细，然后做进一步处理。有一次，他碰到一个诡异的现象：1.Canal收到消息，有一条主键id=31019319的数据插入2.1
一、简介canal[kə'næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务trigger获取增量变更。从2010年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。Canal是用Java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，Canal主要支持了MySQL的Binlog解析，解析完成后才利用CanalClient来处理获得的相关数据。（数据库同步需要阿里的Otter中间件，基于Ca
一、简介canal[kə'næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务trigger获取增量变更。从2010年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。Canal是用Java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，Canal主要支持了MySQL的Binlog解析，解析完成后才利用CanalClient来处理获得的相关数据。（数据库同步需要阿里的Otter中间件，基于Ca
概述canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。背景早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps.目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志解析基于日志增量订阅&消费支持的业务：数据库镜像数据库实时备份多
概述canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。背景早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps.目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志解析基于日志增量订阅&消费支持的业务：数据库镜像数据库实时备份多
在前面介绍的模型中，一般我们都会假设训练资料和测试资料符合相同的分布，这样模型才能够有较好的效果。而如果训练资料和测试资料是来自于不同的分布，这样就会让模型在测试集上的效果很差，这种问题称为Domainshift。那么对于这种两者分布不一致的情况，称训练的资料来自于SourceDomain，测试的资料来自于TargetDomain。那么对于领域转变的问题，具体的做法随着我们对于目标领域的了解程度不同而不同，主要有以下几种情况：我们当前拥有少量目标领域的样本且含有标注：具体做法是取其中的一小部分去“微调”训练好的模型，但要注意不能够训练太多次迭代否则可能会对小部分的样本产生过拟合我们拥有目标领域
在前面介绍的模型中，一般我们都会假设训练资料和测试资料符合相同的分布，这样模型才能够有较好的效果。而如果训练资料和测试资料是来自于不同的分布，这样就会让模型在测试集上的效果很差，这种问题称为Domainshift。那么对于这种两者分布不一致的情况，称训练的资料来自于SourceDomain，测试的资料来自于TargetDomain。那么对于领域转变的问题，具体的做法随着我们对于目标领域的了解程度不同而不同，主要有以下几种情况：我们当前拥有少量目标领域的样本且含有标注：具体做法是取其中的一小部分去“微调”训练好的模型，但要注意不能够训练太多次迭代否则可能会对小部分的样本产生过拟合我们拥有目标领域
