目录一、处理函数概述 二、Process函数分类——8个（1）ProcessFunction（2）KeyedProcessFunction（3）ProcessWindowFunction（4）ProcessAllWindowFunction（5）CoProcessFunction（6）ProcessJoinFunction（7）BroadcastProcessFunction（8）KeyedBroadcastProcessFunction三、KeyedProcessFunction案例1.运行processElement方法中的事件时间(1)输入数据2.运行processElemen
01FlinkCDC简介FlinkCDC [1]是基于数据库的日志CDC技术，实现了全增量一体化读取的数据集成框架。配合Flink优秀的管道能力和丰富的上下游生态，FlinkCDC可以高效实现海量数据的实时集成。作为新一代的实时数据集成框架，FlinkCDC具有全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等技术优势，同时社区提供了完整的文档支持 [2]。在FlinkCDC开源的两年多时间里，社区成长迅速，目前FlinkCDC社区已有76位贡献者，7位Maintainer，社区钉钉用户群超过7800人。02FlinkCDC2.3概览在社区用户和贡献者们的共同努力下，Flink
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
Doris框架大规模并行处理的分析型数据库产品。使用场景：一般先将原始数据经过清洗过滤转换后，再导入doris中使用。主要实现的功能有：实时看板面向企业内部分析师和管理者的报表面向用户或者客户的高并发报表分析即席查询统一数仓构建：替换了原来由Spark,Hive，Kudu,Hbase等旧框架数据湖联邦查询：通过外表的方式联邦分析位于Hive，IceBerg,Hudi中的数据Doris架构后端：C语言编写的，用于数据查询前端：Leader,Follower,Oberserver部署注意事项磁盘空间按用户总数据量x3副本计算，然后再预留额外40%的空间。所有部署节点关闭swapFE节点数据至少为1
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
目录TransformationsSink分区策略TransformationsTransformations算子可以将一个或者多个算子转换成一个新的数据流，使用Transformations算子组合可以处理复杂的业务处理。MapDataStream→DataStream遍历数据流中的每一个元素，产生一个新的元素。FlatMapDataStream→DataStream遍历数据流中的每一个元素，产生N个元素N=0，1，2......。FilterDataStream→DataStream过滤算子，根据数据流的元素计算出一个boolean类型的值，true代表保留，false代表过滤掉。KeyB
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
Flink系列之：Checkpoints与Savepoints一、概述二、功能和限制一、概述从概念上讲，Flink的savepoints与checkpoints的不同之处类似于传统数据库系统中的备份与恢复日志之间的差异。Checkpoints的主要目的是为意外失败的作业提供恢复机制。Checkpoint的生命周期由Flink管理，即Flink创建，管理和删除checkpoint-无需用户交互。由于checkpoint被经常触发，且被用于作业恢复，所以Checkpoint的实现有两个设计目标：i）轻量级创建和ii）尽可能快地恢复。可能会利用某些特定的属性来达到这个目标，例如，作业的代码在执行尝试
基于flinkjdbc方言(dialect)里不同Statement何时、如何被调用的思考。前言：在修改flink-connector-jdbc源码时，观察到jdbc有方言的实现，在JdbcDialect.class里存在insert/update和upsert两种更新语义，所以研究下何种情况执行insert/update，何种情况执行upsert。如有任何错误，欢迎大家指正。flinkjdbc插入模式主要分为两类：1、Append-Only 仅追加流，简单来讲，不管数据重不重复，只是往里添加。2、Upsert 更新插入流，即更新或者插入，一般要求sink端数据库需要唯一的键值。例
