文章目录一、什么是跨时钟域？二、跨时钟域传输的问题？2、1亚稳态（单bit：两级D触发器（双DFF））2、2数据收敛（多bit亚稳态）（格雷码编码、握手协议、异步FIFO、DMUX）2、3多路扇出：（先同步后扇出）2、4数据丢失（延长输入数据信号）：类似脉冲展宽2、5异步复位（同步释放）三、跨时钟域传输问题的解决方法？3、1单比特信号3、1、1单比特脉冲信号（慢时钟域到快时钟域）：两级D触发器同步处理3、1、2单比特脉冲信号（快时钟域到慢时钟域）：脉冲展宽3、2多比特信号3、2、1格雷码+双DFF（异步FIFO）3、2、2握手协议3、2、3DMUX（D触发器加二选一选择器）数据使能选通设计一、

在进行数据ETL过程中，我们经常需要通过周期性的定时调度将业务数据按照T+1的方式同步到数据仓库中，进行数据分析处理，最终通过BI报表展示给最终用户。但这种方式实时性较差，用户往往只能看到昨天的数据，会影响用户决策的及时性；而如果用户要近实时的查看报表，则需要将调度周期频率提高到小时或分钟，这对整个数据分析系统是个很大的考验；而上述过程也只适用于数据不断新增的情况，如果遇到业务数据修改、删除的过程，则只能每次全量同步覆盖；在面对上述数据同步过程中数据时效性要求高、历史数据会变更的问题，我们可以使用变化数据捕获技术进行数据的实时同步。什么是变化数据捕获？变化数据捕获(ChangeDataCapt

直接使用FlinkCDCSQL的写法，一个Job只能同步一个表的数据，至于原因，在此不再赘述。直接上代码吧第一步，自定义DebeziumDeserializationSchema将SourceRecord类转化为自定义的JsonRecord类型publicclassJsonStringDebeziumDeserializationSchemaimplementsDebeziumDeserializationSchema{@Overridepublicvoiddeserialize(SourceRecordrecord,Collectorout)throwsException{Envelope.

目录CDC简介​​​​​​​step1配置mysql 开启binlog step2 flink 测试 mysql cdcStep3flink cdc 实时ETL 实例endCDC简介        CDC即ChangeDataCapture变更数据捕获，我们可以通过CDC得知数据源表的更新内容（包含InsertUpdate和Delete），并将这些更新内容作为数据流发送到下游系统。捕获到的数据操作具有一个标识符，分别对应数据的增加，修改和删除。flinkmysql cdc 官网传送门>>+I：新增数据。-U：一条数据的修改会产生两个U标识符数据。其中-U含义为修改前数据。+U：修改之后的数据。

前言：主要讲解了技术原理，入门与生产实践，主要功能：全增量一体化数据集成、实时数据入库入仓、最详细的教程。FlinkCDC是ApacheFlink的一个重要组件，主要使用了CDC技术从各种数据库中获取变更流并接入到Flink中，ApacheFlink作为一款非常优秀的流处理引擎，其SQLAPI又提供了强大的流式计算能力，因此结合FlinkCDC能带来非常广阔的应用场景。例如，FlinkCDC可以代替传统的DataX和Canal工具作为实时数据同步，将数据库的全量和增量数据同步到消息队列和数据仓库中。也可以做实时数据集成，将数据库数据实时入湖入仓。还可以做实时物化视图，通过SQL对数据做实时的关

先上一张图，后面再慢慢介绍：CDC概述CDC的全称是 ChangeDataCapture ，在广义的概念上，只要能捕获数据变更的技术，我们都可以称为CDC。我们目前通常描述的CDC技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC主要分以下两类基于查询的CDC：优点是实现简单，是通过批处理实现的，需要依赖离线调度，不能保证数据强一致性和实时性；基于日志的CDC：实现比较复杂，但是可以实时消费日志，流式处理，可保证数据一致性和实时性；方案对比目前市面上的CDC技术比较多，我们选取了几种主要的开源CDC方案做了对比，总体如下图：如上图所示，从CDC机制、增量同步、断电续传、全量

简介SQLServer是一款老牌关系型数据库,自1988年由Microsoft、Sybase和Ashton-Tate三家公司共同推出，不断迭代更新至今，拥有相当广泛的用户群体。如今，我们提到SQLServer通常指MicrosoftSQLServer2000之后的版本。SQLServer2008是一个里程碑版本，加入了大量新特性,包括新的语法、更丰富的类型以及本文所提及的CDC能力，这个能力让数据从SQLServer实时同步到外部更加方便。本文将介绍CloudCanal在新版本中对于SQLServer数据同步更进一步的优化和实践。SQLServerCDC长什么样？原始日志常见的数据库往往存在以

FlinkCDCOracle用户权限不足版本：flink1.14.5、flinkcdc2.2.1、oracle11g、场景：flinkcdc实时抽取oracle的数据表。DBA为了数据库安全考虑，对访问用户权限进行控制。将oracle的flinkuser用户XE下的orders表授权只读权限给readuser用户。授权情况如下：createuserreaduseridentifiedby'123456';grantcreatesession,execute_catalog_role,select_catalog_roletoreaduser;grantselectonflinkuser.ord

前言flinkcdc单表同步比较简单，按照官方案例基本都能成功，多表异构同步、整库同步这块一直想尝试一下，社区说使用API可以做到，但是一直没能白嫖到可行方案（代码），然后自己动手尝试了下，咳咳，无奈技术太菜，java各种语法都搞的不是太明白，时间跨度蛮久，中间遇到了不少问题，中途偶然间在群里看到了很久很久以前群友发的一份同步方案，可惜缺少了反序列化的过程，借鉴过来改巴改巴（也改了好几个星期，太菜了），勉强是能跑了，分享出来，能帮到大家一点也就很好了。方案思路这个方案的整体思路我先说一下（大佬的思路，我借鉴的），首先我们先使用mysqlcatalog获取到各个表的信息（列名、列类型之类的），然

报错信息MySQLserverhasatimezoneoffset(0secondsaheadofUTC)whichdoesnotmatchtheconfiguredtimezoneAsia/Shanghai.Specifytherightserver-time-zonetoavoidinconsistenciesfortime-relatedfields.Causedby:org.apache.flink.table.api.ValidationException:TheMySQLserverhasatimezoneoffset(0secondsaheadofUTC)whichdoesnot