本文首发于我的个人博客网站等待下一个秋-Flink什么是CDC？CDC是（ChangeDataCapture变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。[图片上传失败...(image-cacb2d-1663151981555)]1.环境准备mysqlkafka2.3flink1.13.5onyarn说明：如果没有安装hadoop，那么可以不用yarn，直接用flinkstandalone环境吧。2.下载下列依赖包下面两个地

Flink使用介绍相关文档目录Flink使用介绍相关文档目录简介在使用纯FlinkSQL的场景下，对于复杂业务逻辑，Flink提供的内置fucntion是无法满足要求的。我们需要实现自定义的function，来扩充Flink的功能。用户自己实现的function称为UDF(userdefinedfunction)。Flink支持如下四种UDF：ScalarFunction:类似于Flink算子的map，一对一转换。TableFunction:类似于flatmap，一对多。AggregateFunction:类似于reduce，多对一。通过聚合操作把多行输出为一个值。TableAggregate

Flink使用介绍相关文档目录Flink使用介绍相关文档目录简介在使用纯FlinkSQL的场景下，对于复杂业务逻辑，Flink提供的内置fucntion是无法满足要求的。我们需要实现自定义的function，来扩充Flink的功能。用户自己实现的function称为UDF(userdefinedfunction)。Flink支持如下四种UDF：ScalarFunction:类似于Flink算子的map，一对一转换。TableFunction:类似于flatmap，一对多。AggregateFunction:类似于reduce，多对一。通过聚合操作把多行输出为一个值。TableAggregate

思维导图思维导图宏观之实时流架构实时流之lamda架构lamda架构.png分析:批处理层:也就是大数据中的离线存储。它通过处理所有的已有历史数据来实现数据的准确性。这意味着它是基于完整的数据集来重新计算的，能够修复任何错误，然后更新现有的数据视图。输出通常存储在只读数据库中，更新则完全取代现有的预先计算好的视图速度层，也就是Flink为代表实时计算,通过提供最新数据的实时视图来最小化延迟。速度层所生成的数据视图可能不如批处理层最终生成的视图那样准确或完整，但它们几乎在收到数据后立即可用。而当同样的数据在批处理层处理完成后，在速度层的数据就可以被替代掉了优势lambda使开发人员能够构建大规模

思维导图思维导图宏观之实时流架构实时流之lamda架构lamda架构.png分析:批处理层:也就是大数据中的离线存储。它通过处理所有的已有历史数据来实现数据的准确性。这意味着它是基于完整的数据集来重新计算的，能够修复任何错误，然后更新现有的数据视图。输出通常存储在只读数据库中，更新则完全取代现有的预先计算好的视图速度层，也就是Flink为代表实时计算,通过提供最新数据的实时视图来最小化延迟。速度层所生成的数据视图可能不如批处理层最终生成的视图那样准确或完整，但它们几乎在收到数据后立即可用。而当同样的数据在批处理层处理完成后，在速度层的数据就可以被替代掉了优势lambda使开发人员能够构建大规模

ApacheFlink社区非常高兴地宣布了Apache的发布Flink1.14.4，这是ApacheFlink1.14的第三个bug修复版本系列。这个版本修复了51个bug和漏洞，并对Flink1.14进行了小的改进。下面是所有bug修复和改进的列表(不包括对构建基础结构和构建稳定性的改进)。有关所有更改的完整列表，请参阅:JIRA我们强烈建议所有用户升级到Flink1.14.4。ReleaseArtifactsMavenDependenciesorg.apache.flinkflink-java1.14.4org.apache.flinkflink-streaming-java_2.111.

ApacheFlink社区非常高兴地宣布了Apache的发布Flink1.14.4，这是ApacheFlink1.14的第三个bug修复版本系列。这个版本修复了51个bug和漏洞，并对Flink1.14进行了小的改进。下面是所有bug修复和改进的列表(不包括对构建基础结构和构建稳定性的改进)。有关所有更改的完整列表，请参阅:JIRA我们强烈建议所有用户升级到Flink1.14.4。ReleaseArtifactsMavenDependenciesorg.apache.flinkflink-java1.14.4org.apache.flinkflink-streaming-java_2.111.

一、Flink简介  ApacheFlink是一个用于对无边界和有边界数据流进行有状态计算的框架和分布式处理引擎。Flink被设计为运行在所有常见的集群环境中，并且以内存速度和任意规模执行运算。无边界的数据集无边界定义了开始但没有定义结束。它们不会在生成时终止提供数据，必须持续地处理无边界流，即必须在拉取到事件后立即处理它。无法等待所有输入数据到达后处理，因为输入是无边界的，并且在任务时间点都不会完成。处理无边界数据通常要求以特定顺序（例如事件发生的顺序）拉取事件，以便能够推断结果完整性。有边界的数据集有边界流定义了开始和结束。可以在执行任何计算之前通过拉取到所有数据后处理有界流。处理有界流不

一、Flink简介  ApacheFlink是一个用于对无边界和有边界数据流进行有状态计算的框架和分布式处理引擎。Flink被设计为运行在所有常见的集群环境中，并且以内存速度和任意规模执行运算。无边界的数据集无边界定义了开始但没有定义结束。它们不会在生成时终止提供数据，必须持续地处理无边界流，即必须在拉取到事件后立即处理它。无法等待所有输入数据到达后处理，因为输入是无边界的，并且在任务时间点都不会完成。处理无边界数据通常要求以特定顺序（例如事件发生的顺序）拉取事件，以便能够推断结果完整性。有边界的数据集有边界流定义了开始和结束。可以在执行任何计算之前通过拉取到所有数据后处理有界流。处理有界流不

OperatorChain的对象重用，可以提高效率，但什么情况下可以重用，什么情况下不可以重用，我们一起来看你一下代码：首先，在OperatorChain类的createChainedOperator方法privateWatermarkGaugeExposingOutput>createChainedOperator(StreamTaskcontainingTask,StreamConfigoperatorConfig,MapchainedConfigs,ClassLoaderuserCodeClassloader,Map>streamOutputs,List>allOperators,Out