//自定义时间转换配置properties.setProperty("converters","dateConverters");properties.setProperty("dateConverters.type","com.ysservice.utils.MySqlDateTimeConverter");//构建mysqlSourceMySqlSourcemysqlCdcSource=MySqlSource.String>builder().hostname(FlinkConfig.source_hostname).port(3306).databaseList(databaseName
文章目录@[toc]1.ApacheStreamPark是什么？2.介绍2.1特性2.2架构2.3Zeppelin和StreamPark的对比3.相关连接4.部署4.1二进制包编译构建4.2镜像构建4.3初始化sql4.4部署4.4.1Docker-compose.yaml部署脚本4.4.2配置文件准备4.4.3flink启动配置4.4.4streampark启动配置4.4.5遇到的问题5cdc实践5.1确定flink是否正常5.2streampark管理端配置5.2.1flink-home配置5.2.2flink-cluster配置5.2.3新增cdc-sql和上传jar或添加依赖5.3cd
背景 基于select语句的Flink-CDC适用于数据同步的全量同步的场景，可以结合Azkaban或者dolphinscheduler做定时调度T+1数据同步。1、maven1.13.62.11org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java_${scala.binary.version}${flink.version}org.apache.flinkflink-clients_${scala.binary.version}${flink.version}org.apache.flin
最近的项目中有用到Flink Oracle CDC实时到监听数据库变化，将变化的数据sink到Kafka。Oracle CDC依赖Debezium组件解析Redo Log与Archive Log，Debezium 通过Oracle 的Logminer解析Log。在我们生产环境遇到运行一段时间后，再也查询不到数据，直到报miss log file异常（线上环境cron job 将一小时前的archvied log压缩生成gzip文件），Flink job运行失败。日志量比较大的时候，延迟非常大，每小时archived log size超过60G时延迟去到小时级别。分析问题前，先简单介绍下Orac
3月25日晚，由CSDN丨上海CDC（城市开发者联盟）和阿里云联合举办的“CDC城市领航者之夜”活动成功举办。本次活动主题是“AIGC 时代，技术管理者如何打造高效能研发团队”，吸引了近三十位上海本地企业的CTO、技术负责人和创作者等技术精英参会。本次活动是上海站“CDC城市领航者之夜”系列活动的第一站。现场，CSDN商业化运营负责人分享了CDC的城市计划和活动模式，引发了现场观众的浓厚兴趣。三位嘉宾分别分享了自己在打造高效能团队方面的经验。阿里云云效数据和度量产品技术负责人林帆认为，为合适的人才铺就土壤和选择合适的提效工具可以事半功倍，同时适当的度量是持续进步的关键，团队需要定期评估自己的工
3月25日晚，由CSDN丨上海CDC（城市开发者联盟）和阿里云联合举办的“CDC城市领航者之夜”活动成功举办。本次活动主题是“AIGC 时代，技术管理者如何打造高效能研发团队”，吸引了近三十位上海本地企业的CTO、技术负责人和创作者等技术精英参会。本次活动是上海站“CDC城市领航者之夜”系列活动的第一站。现场，CSDN商业化运营负责人分享了CDC的城市计划和活动模式，引发了现场观众的浓厚兴趣。三位嘉宾分别分享了自己在打造高效能团队方面的经验。阿里云云效数据和度量产品技术负责人林帆认为，为合适的人才铺就土壤和选择合适的提效工具可以事半功倍，同时适当的度量是持续进步的关键，团队需要定期评估自己的工
快时钟域到慢时钟域分两种情况：1、允许采样丢失：直接采用同步器即可。2、不允许采样丢失：原理是保证快时钟域的信号宽度满足一定的条件，使得慢时钟域有足够的时间采样到。对于情况2有两种方法解决：①信号展宽+边沿检测②握手，且①比②要优先被选择。因为握手资源消耗较大，一般不用。方法一：脉冲信号展宽+边沿检测，脉冲信号转换成电平信号再进行边沿检测电路图：代码：（verilog是描述电路的语言，所以要心中有电路，代码就好写了）modulepulse_detect(inputclk_fast,inputclk_slow,inputrst_n,inputdata_in,outputdataout);regd
摘要：本文整理自阿里云技术专家，ApacheFlinkPMCMember&Committer,FlinkCDCMaintainer徐榜江和阿里云高级研发工程师，ApacheFlinkContributor&FlinkCDCMaintainer阮航，在FlinkForwardAsia2022数据集成专场的分享。本篇内容主要分为四个部分：1.深入解读FlinkCDC2.3版本2.基于FlinkCDC构建现代数据栈3.阿里云内部实践和改进4.Demo&未来规划一、深入解读FlinkCDC2.3版本1.1FlinkCDC首先介绍一下FlinkCDC技术。FlinkCDC是基于数据库的日志CDC技术，实
目录1.冲突原因2.解决办法1.冲突原因使用FlinkCDC2.2.0版本的时候，会报ThreadFactoryBuilder这个类找不到的错误，如下所示：java.lang.NoClassDefFoundError:org/apache/flink/shaded/guava18/com/google/common/util/concurrent/ThreadFactoryBuilder因为FlinkCDC使用的是guava版本是18.0-13.0，如下所示：org.apache.flinkflink-shaded-guava18.0-13.0而Flink1.14.4使用的guava版本是30
目录1.冲突原因2.解决办法1.冲突原因使用FlinkCDC2.2.0版本的时候，会报ThreadFactoryBuilder这个类找不到的错误，如下所示：java.lang.NoClassDefFoundError:org/apache/flink/shaded/guava18/com/google/common/util/concurrent/ThreadFactoryBuilder因为FlinkCDC使用的是guava版本是18.0-13.0，如下所示：org.apache.flinkflink-shaded-guava18.0-13.0而Flink1.14.4使用的guava版本是30
