本文已收录至Github，推荐阅读👉Java随想录微信公众号：Java随想录目录流处理&批处理无界流Unboundedstreams有界流BoundedstreamsFlink的特点和优势FlinkVSSparkFlinkAPIDataflows数据流图Flink基本架构JobManager&TaskManager集群&部署部署模式提交作业流程配置开发环境WordCount流批计算程序并行度并行度设置并行度生效优先级TaskOperatorChain（算子链)TaskSlots分发规则Slot共享组并行度和Slots的例子DataSource数据源FileSourceCollectionSou

环境flink1.15.3(此时最新版本为1.16.1)mysql5.7+starrocks2.5.2mysql同步表结构mysql中的timestamp字段是可以正常同步的，但是多了8小时，设置了mysql链接属性也没效果CREATETABLE`temp_flink`(`id`int(11)NOTNULL,`name`varchar(100)COLLATEutf8mb4_general_ciDEFAULTNULL,`remark`varchar(100)COLLATEutf8mb4_general_ciDEFAULTNULL,`create_date`datetimeDEFAULTNULL,

 根据个人理解整理，大佬们有更好的想法可以评论Row首先，Row是一种固定长度、可识别空值的复合类型，使用确定的字段顺序存储多个值。无论字段的类型如何，每个字段都可以为空。无法自动推断行字段的类型；因此，无论何时生成一行，都需要提供类型信息。Row的主要目的是在Flink的Table和SQL生态系统以及其他API之间架起一座桥梁。因此，行不仅由模式部分（包含字段）组成，而且还附加了一个RowKind用于对更改日志中的更改进行编码。因此，可以将一行视为更改日志中的一个条目。例如，在常规批处理方案中，更改日志将包含RowKind.INSERT行的有界流。行种类与字段分开，可以使用getKind()

1.IntervalJoins（区间Join）区间是双流join的优化，基于处理时间或事件时间，在一定时间区间内数据，相同的key进行join（支持Batch\Streaming）。IntervalJoin可以让一条流去Join另一条流中前后一段时间内的数据。对于stream查询，时间区间join只支持有时间属性的append-only表。由于时间属性是准单调递增的，Flink可以从其状态中删除旧值，而不会影响结果的正确性。优点：由于给定了关联的区间，因此只需要保留很少的状态，内存压力较小。缺点：如果关联的数据晚到或者早到，导致落不到JOIN区间内，就可能导致结果不准确。只支持普通Append

Iceberg从入门到精通系列之六：Flink集成Iceberg一、下载Flink二、解压Flink安装包三、配置环境变量四、激活环境变量五、下载Icebergflinkjar包六、部署Icebergflinkjar包七、修改flink配置八、启动flink九、启动flinksqlclient一、下载Flink下载Flink：https://www.apache.org/dyn/closer.lua/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz二、解压Flink安装包tar-zxvfflink-1.17.1-bin-scala_2.12.

Flink系列文章Flink（一）1.12.7或1.13.5详细介绍及本地安装部署、验证Flink（二）1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤Flink（三）flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream详细示例入门和提交任务至onyarn运行Flink（四）介绍Flink的流批一体、transformations的18种算子详细介绍、Flink与Kafka的source、sink介绍Flink（五）source、transfor

摘要：本文整理自阿里云技术专家，ApacheFlinkPMCMember&Committer、FlinkCDCMaintainer徐榜江(雪尽)在深入解读Flink1.17的分享。内容主要分为四个部分：Flink1.17OverviewFlink1.17OverallStoryFlink1.17KeyFeaturesSummary一、Flink1.17OverviewFlink1.17版本完成了7个FLIP，累计贡献者170+，解决600+Issue以及1100+Commits，整体来看是一个较大的版本。从Issue分布来看，1.17版本主要在Runtime层面以及Table层面做了较多改进，

作者安装 flink-1.15.1后，start-cluster.sh启动，发现浏览器连不上FlinkWebUI的8081端口。问题排查：1.win+R，输入cmd，检查宿主机能否ping通虚拟机，发现能ping通。MicrosoftWindows[版本10.0.19044.1889](c)MicrosoftCorporation。保留所有权利。C:\Users\JKing>ping192.168.137.4正在Ping192.168.137.4具有32字节的数据:来自192.168.137.4的回复:字节=32时间2.检查是否有flink以外的任务占用8081端口，发现没被占用，是flink

通过自定义注解的形式，对JdbcSink进行封装，支持自动建表、自动拼接insert语句主类packagecn.chinaunicom.sdsi.flink.security.sink;importcn.chinaunicom.sdsi.flink.security.anno.SecurityField;importcn.chinaunicom.sdsi.flink.security.anno.SecurityTable;importcn.chinaunicom.sdsi.flink.security.config.Constant;importcn.chinaunicom.sdsi.flin

在flinkcdc同步数据时，基于sql的实现方式中发现了作业DAG有个SinkMaterializer算子，而且检查checkpoint历史时发现该算子state越来越大，有必要搞清楚为什么会多了这个算子，作用又是什么。通过算子名称定位到了源码为类org.apache.flink.table.runtime.operators.sink.SinkUpsertMaterializer,这个算子将输入的记录以upsertkey作区分保存到state中，并为下游算子提供一下upsert视图。Anoperatorthatmaintainsincomingrecordsinstatecorrespon