ApacheFlinkisaframeworkanddistributedprocessingengineforstatefulcomputationsover unboundedandbounded datastreams.Flinkhasbeendesignedtorunin allcommonclusterenvironments,performcomputationsat in-memoryspeed andat anyscale.Here,weexplainimportantaspectsofFlink’sarchitecture.ProcessUnboundedandBounded

Flink批HashJoin递归超限问题随着Flink流批一体能力的迅速发展以及FlinkSQL易用性的提升，越来越多的厂商开始将Flink作为离线批处理引擎使用。在我们使用Flink进行大规模join操作时，也许会发生如下的异常，导致任务失败：Hashjoinexceededmaximumnumberofrecursions,withoutreducingpartitionsenoughtobememoryresident.字面意思即为HashJoin的递归次数超出限制。Flink批模式下的join算法有两种，即HybridHashJoin和Sort-MergeJoin。顾名思义，Hybri

本文对Flink的Application、Per-Job和Session部署模式进行了对比分析。详细介绍了NativeKubernetes场景下的Application部署模式，并且对整个启动流程进行了源码分析。1.NativeKubernetesApplication简介1.1Flink部署模式简介Flink的部署模式有Application、Per-Job和Session模式。Application、Per-Job和Session部署模式的主要区别：●集群与作业的生命周期是否一致●资源的隔离程度●作业的mian()运行在client还是集群上Application模式的特点：①作业与Fli

    数据进入到窗口的时候，窗口是否触发后续的计算由窗口触发器决定，每种类型的窗口都有对应的窗口触发机制。WindowAssigner默认的Trigger通常可解决大多数的情况。我们通常使用方式如下,调用trigger()方法把我们想执行触发器传递进去： SingleOutputStreamOperatorname =name.keyBy("name").window(TumblingEventTimeWindows.of(Time.seconds(5))).trigger(ContinuousEventTimeTrigger.of(Time.seconds(1)))        .pro

FlinkCDC系列之：OracleCDC导入Elasticsearch一、深入理解FlinkOracleCDCConnector二、创建docker-compose.yml文件三、启动容器四、下载FlinkOracleCDC的jar包五、启动Flink集群，再启动SQLCLI六、检查ElasticSearch中的结果七、在Oracle制造一些变更，观察ElasticSearch中的结果一、深入理解FlinkOracleCDCConnectorFlinkCDC系列之：OracleCDCConnector二、创建docker-compose.yml文件version:'2.1'services:

Flink使用介绍相关文档目录Flink使用介绍相关文档目录作业提交方式参考链接：YARN|ApacheFlinkFlink作业提交的方式分为application模式，per-job模式和session模式。per-job模式在Yarn创建一个Flink集群，然后在提交任务客户端所在机器本地运行作业jar的main方法，提交生成的JobGraph到Flink集群的JobManager。如果附带--detached参数，提交的作业被accept的时候，客户端会停止运行（命令行不用一直开着，生产环境必须。开发测试时可不带--detached参数，通过命令行查看运行日志）。实际生产中推荐使用此模式

前期介绍到，我们项目初期Flink部署使用的是standalone模式。但是此模式缺点很多：1、资源利用率低taskmanager、slot实现都是规划创建好。如果不用资源也一直占用着。2、无法做到资源隔离只是简单的对内存资源进行简单划分3、job调度优先级无法保证我们本打算采用Flinkonk8s的方案，但是考虑到k8s虚拟了一层网络，性能肯定有损耗。而且对运维团队要求非常高。最终，我们采用社区比较成熟的方案flinkonyarn。成熟是别人的成熟，坑还是我们自己的坑。根据自己的理解，画了个简单的图：session模式下，需要预先执行创建session的命令，具体如下：/data/flink

前言在流数据处理应用中，一个很重要、也很常见的操作就是窗口计算。所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。基本概念是什么Window：Window是处理无界流的关键，Windows将流拆分为一个个有限大小的buckets，可以可以在每一个buckets中进行计算。start_time、end_time：当Window时时间窗口的时候，每个window都会有一个开始时间和结束时间（前开后闭），这个时间是系统时间。event-time:事件发生时间，是事件发生所在设备的当地时间，比如一个点击事件的时间

时间语义上图是数据流式处理过程，涉及到两个重要的时间点：事件时间（EventTime）和处理时间（ProcessingTime）。事件时间（EventTime）：即数据产生的时间；处理时间（ProcessingTime）：即数据真正被处理的时刻；我们在处理数据时，以哪种时间作为衡量标准，就是所谓的时间语义问题（NotionsofTime）。由于分布式系统中网络传输的延迟和时钟漂移，处理时间相对事件发生的时间会有滞后。在这种情况下，就不能简单地把数据自带的时间戳当作时钟了，而需要用另外的标志来表示事件时间进展，在Flink中把它叫作事件时间的“水位线”（Watermarks）。水位线（Water

flinkkafkascan=.startup.mode的几个选项group-offsets:startfromcommittedoffsetsinZK/Kafkabrokersofaspecificconsumergroup.earliest-offset:startfromtheearliestoffsetpossible.latest-offset:startfromthelatestoffset.timestamp:startfromuser-suppliedtimestampforeachpartition.specific-offsets:startfromuser-supplie