WhatisState虽然数据流中的许多操作一次只查看一个单独的事件（例如事件解析器），但某些操作会记住多个事件的信息（例如窗口算子）。这些操作称为有状态的(stateful)。有状态操作的一些示例：当应用程序搜索某些事件模式(eventpatterns)时，状态(state)将存储迄今为止遇到的事件序列。当每分钟/小时/天聚合事件时，状态(state)保存待处理的聚合。当通过流中的数据点训练机器学习模型时，状态(state)保存模型参数的当前版本。当需要管理历史数据时，状态(state)允许有效访问过去发生的事件。Flink需要了解状态(state)，以便使用检查点(checkpoint)和

背景在使用flink进行集成测试时，我们会使用MiniClusterWithClientResource类，但是当我们断点导致在某个方法执行的时间比较长时，会有错误发生，那么该如何解决这个错误呢？处理concurrent.TimeoutException:HeartbeatofTaskManagerwithid错误其实关键的配置是heartbeat.timeout，这个错误是JobManager抛出的，意思是和某个TaskManager的心跳中断超过了指定的时间，我们把这个参数配置到MiniClusterWithClientResource类中就可以了，代码如下所示：publicclassFl

vim常用命令总结（转) 在命令状态下对当前行用==（连按=两次）,或对多行用n==（n是自然数）表示自动缩进从当前行起的下面n行。你可以试试把代码缩进任意打乱再用n==排版，相当于一般IDE里的codeformat。使用gg=G可对整篇代码进行排版。 vim选择文本，删除，复制，粘贴 文本的选择，对于编辑器来说，是很基本的东西，也经常被用到，总结如下：v  从光标当前位置开始，光标所经过的地方会被选中，再按一下v结束。 V  从光标当前行开始，光标经过的行都会被选中，再按一下Ｖ结束。 Ctrl+v  从光标当前位置开始，选中光标起点和终点所构成的矩形区域，再按一下Ｃtrl+v结束。 ggVG

一状态的概述  在Flink中，算子任务可以分为无状态和有状态两种情况。  无状态的算子只需要观察每个独立事件，根据当前输入的数据直接转换输出结果，如map、filter、flatMap，计算时不依赖其他数据，就属于无状态算子。  而有状态的算子任务，则除当前数据之外，还需要一些其他数据来得到计算结果。这里的“其他数据”就是所谓的状态（state）。聚合算子、窗口算子都属于有状态的算子。有状态算子的一般处理流程，具体步骤如下：1）算子任务接收到上游发来的数据；2）获取当前状态3）根据业务逻辑处理计算，更新状态4）得到计算结果，输出发送到下游任务二状态的分类1托管状态（ManagedState）

FlinkAPI总共分为4层这里主要整理TableAPI的使用TableAPI是流处理和批处理通用的关系型API，TableAPI可以基于流输入或者批输入来运行而不需要进行任何修改。TableAPI是SQL语言的超集并专门为ApacheFlink设计的，TableAPI是Scala和Java语言集成式的API。与常规SQL语言中将查询指定为字符串不同，TableAPI查询是以Java或Scala中的语言嵌入样式来定义的，具有IDE支持如：自动完成和语法检测。需要引入的pom依赖如下：dependency>groupId>org.apache.flinkgroupId>artifactId>fl

前言：    跟git交互有好多场景，比如第一次推送代码；第一次拉取git上已有的项目；修改代码推送解决冲突；代码提交错误会滚等。接下来就结合场景来学习git命令吧～目录：    前提：        在下列场景操作时的前提是需要先配置好git全局用户名和邮箱，在git上配置SSH公钥实现免密登录。具体配置已在文档里面第2，3点阐述：【Git】第一次推送代码到gitLab-CSDN博客                                                                正常场景如下：场景一：目前在Git上没有项目，第一次推送项目​​​​​​【Git】第

Flink项目系列1-项目介绍-墨天轮Flink实时电商实战项目:基于尚硅谷开源项目的Flink电商实战项目（全流程）大数据Flink电商数仓实战项目流程全解（一）_尚硅谷flinksql大数据项目实战-CSDN博客实时即未来，大数据项目车联网之创建Flink实时计算子工程【二】_flink实时数仓车联网项目_AI_Maynor的博客-CSDN博客实时即未来，车联网项目之创建Flink实时计算子工程-云社区-华为云实时即未来，车联网项目之电子围栏分析【六】-云社区-华为云

增加 importorg.apache.flink.streaming.api.scala._  即可

容错机制容错：指出错后不影响数据的继续处理，并且恢复到出错前的状态。检查点：用存档读档的方式，将之前的某个时间点的所有状态保存下来，故障恢复继续处理的结果应该和发送故障前完全一致，这就是所谓的检查点。检查点的控制节点：jobManager里面的检查点协调器，向source节点的数据插入barrier标记。检查点的保存：-周期性触发保存-保存的时间点：所有算子恰好处理完一个相同的输入数据时(使用Barrier机制)检查点分界线Barrierbarrier标记表示这个标记之前的所有数据已经将状态更改存入当前检查点。后续的算子节点只要遇到它就开始对状态做持久化快照保存。在它之后对数据状态的改变，只能

文章目录1、Graph的概念2、Graph的演变过程2.1、StreamGraph(数据流图)2.2、JobGraph(作业图)2.3、ExecutionGraph(执行图)2.4、PhysicalGraph(物理图)1、Graph的概念Flink中的执行图可以分成四层：StreamGraph->JobGraph->ExecutionGraph->PhysicalGraph。StreamGraph（数据流图）：是根据用户通过StreamAPI编写的代码生成的最初的图。用来表示程序的拓扑结构。JobGraph（作业图）：StreamGraph经过优化后生成了JobGraph，提交给JobMana