写过Spark批处理的应该都知道,有一个广播变量broadcast这样的一个算子,可以优化我们计算的过程,有效的提高效率;同样在Flink中也有broadcast,简单来说和Spark中的类似,但是有所区别,首先Spark中的broadcast是静态的数据,而Flink中的broadcast是动态的,也就是源源不断的数据流.在Flink中会将广播的数据存到state中.在Flink中主流数据可以获取state中的所有状态数据,使用过window的应该都清楚,当两个streamData中的数据到达窗口的时间刚好错过时就会发生关联不上的情况,如window是2S,sreamData1到达窗口的时间

流处理批处理应用于有界数据流的处理，流处理则应用于无界数据流的处理。有界数据流：输入数据有明确的开始和结束。无界数据流：输入数据没有明确的开始和结束，或者说数据是无限的，数据通常会随着时间变化而更新。在Flink中，应用程序由数据流组成，这些数据流可以经由用户自定义的算子进行转换。数据流最终形成有向图，这些图以一个或多个源（Source）开始，以一个或多个接收器（Sink）结束。通常来说，转换（Transformation）与算子之间存在一对一的映射关系，但这并不是绝对的，一个转换也可以包含多个算子。Flink可以处理来自数据流源（例如Kafka）的实时数据，同时也可以处理来自数据源的历史数据

前提知识Akka是一套可扩展、弹性和快速的系统，为此Flink基于Akka实现了一套内部的RPC通信框架；为此先对Akka进行了解AkkaAkka是使用Scala语言编写的库，基于Actor模型提供一个用于构建可扩展、弹性、快速响应的系统；并被应用到Flink中，基于Akka实现了集群组件之间的RPC通信框架Actor模型Actor模型是一个通用的并发编程模型，该模型独立维护隔离状态，基于消息传递实现异步通信，大致可以理解为三部分：邮箱：每个actor持有一个邮箱（mailbox），本质上是一个队列，用于存储消息。行为：每个actor可以发送消息至任何actor。状态：每个actor可以通过处

作者：禅与计算机程序设计艺术1.简介Flink是一个开源的分布式流处理框架，它允许快速轻松地进行实时数据处理，提供了一个完整的数据流程解决方案。它支持低延迟的实时数据计算、高吞吐量的实时数据传输以及复杂事件处理(CEP)。Flink在Apache顶级项目中排名第二，同时也被很多公司用来构建实时的分析系统、实时报表系统和实时机器学习系统等。最近几年，Flink社区发展非常迅速，已经成为最热门的开源大数据平台之一。作为一个开源的分布式流处理框架，Flink在架构、功能和性能上都有着独特的优势。本教程旨在带领读者了解Flink是什么，以及它如何帮助我们进行实时数据处理。2.基本概念术语说明Flink

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置16、Flink的tableapi与sql之连接外部系统:读写外部系统的连接器和格式以及FileSystem示例（1）16、Flink的ta

分析&回答Flink双流JOIN主要分为两大类一类是基于原生State的Connect算子操作另一类是基于窗口的JOIN操作。其中基于窗口的JOIN可细分为windowjoin和intervaljoin两种。基于原生State的Connect算子操作实现原理：底层原理依赖Flink的State状态存储，通过将数据存储到State中进行关联join,最终输出结果。基于窗口的JOIN操作基于WindowJoin的双流JOIN实现机制顾名思义，此类方式利用Flink的窗口机制实现双流join。通俗理解，将两条实时流中元素分配到同一个时间窗口中完成Join。底层原理:两条实时流数据缓存在WindowS

Flink中Graph转换流程如下：FlinkJob提交时各种类型Graph转换流程中，JobGraph是Client端形成StreamGraph后经过OperatorChain优化后形成的，然后提交给JobManager的Restserver，最终转发给JobManager的Dispatcher处理。CompletableFuturesubmitJob(JobGraphjobGraph,@RpcTimeoutTimetimeout);本文主要解析从JobGraph转换为ExecutionGraph过程，执行栈如下：Dispacher::submitJobDispacher::internal

Flink停止job的方式（stop和cancel）1.Stop方式后边跟的任务id是flink的任务ID，不是yarn的flinkstop-m127.0.0.1:8081357591171dfcca2eea09de注：stop方式停止任务对source有要求，source必须实现了StopableFunction接口，才可以优雅的停止job2.cancel方式取消任务。如果在conf/flink-conf.yaml里面配置了state.savepoints.dir，会保存savepoint，否则不会保存savepoint。使用命令方式flinkcancel-m127.0.0.1:808135

文章目录一、CDC入湖1.1、[开启binlog](https://blog.csdn.net/wuxintdrh/article/details/130142601)1.2、创建测试表1.2.1、创建mysql表1.2.2、将binlog日志写入kafka1、使用mysql-cdc监听binlog2、kafka作为sink表3、写入sink表1.2.3、将kakfa数据写入hudi1、kafak作为源表，flinksql消费kafka二、BulkInsert(离线批量导入)2.1、buck_insert案例2.2.1、mysqljdbc2.2.2、hudibuck_insert2.2.3、b