目录一、下载安装IDEA二、搭建本地hadoop环境（window10）三、安装Maven四、新建项目和模块1）新建maven项目2）新建flink模块五、配置IDEA环境（scala）1）下载安装scala插件2）配置scala插件到模块或者全局环境3）创建scala项目4）DataStreamAPI配置1、Maven配置2、示例演示5）TableAPI&SQL配置1、Maven配置2、示例演示6）HiveCatalog1、Maven配置2、Hadoop与HiveGuava冲突问题3、示例演示7）下载flink并本地启动集群（window）8）完成版配置1、maven配置2、log4j2.x
Flink作业运行时，最常见的问题就是积压问题，当作业出现积压时，如何才能快速定位到积压原因，并针对性解决呢？积压的发现通过我们会通过配置作业的积压报警来及时发现作用的积压情况，下面是一些常用的积压监控指标：freshnessfreshness一般代表当前消费的消息体时间和当前时刻的差值，如果差值越大，说明积压也就越严重。无论是消息队列还是数据湖，消息体本身就带有时间戳，因此可以非常方便计算当前消费的消息时间戳和当前时间的差值。offsetLag积压的条目数，适用于消息队列，一般指当前消费的位点和相比消息队列的头节点的offset差值。snapshotLagsnapshot积压的个数，适用于数
Flink作业运行时，最常见的问题就是积压问题，当作业出现积压时，如何才能快速定位到积压原因，并针对性解决呢？积压的发现通过我们会通过配置作业的积压报警来及时发现作用的积压情况，下面是一些常用的积压监控指标：freshnessfreshness一般代表当前消费的消息体时间和当前时刻的差值，如果差值越大，说明积压也就越严重。无论是消息队列还是数据湖，消息体本身就带有时间戳，因此可以非常方便计算当前消费的消息时间戳和当前时间的差值。offsetLag积压的条目数，适用于消息队列，一般指当前消费的位点和相比消息队列的头节点的offset差值。snapshotLagsnapshot积压的个数，适用于数
问题描述近期业务反馈，开启了mini-batch之后，出现了数据不准的情况，关掉了mini-batch之后，就正常了，因此业务方怀疑，是不是Flink的mini-batch存在bug？问题排查初步分析mini-batch已经在内部大规模使用，目前没有发现一例和开启mini-batch有关，同时mini-batch本质只是将数据进行攒批然后计算，并没有修改核心的运算逻辑.开关mini-batch的关键时数据的批量计算，是否在批量计算使得原本存在bug的代码暴露问题业务在FlinkSQL使用了多个双流join和groupwindow，如果不注意使用，很可能导致乱序，最终的错误结果是某条数据没有被正
问题描述近期业务反馈，开启了mini-batch之后，出现了数据不准的情况，关掉了mini-batch之后，就正常了，因此业务方怀疑，是不是Flink的mini-batch存在bug？问题排查初步分析mini-batch已经在内部大规模使用，目前没有发现一例和开启mini-batch有关，同时mini-batch本质只是将数据进行攒批然后计算，并没有修改核心的运算逻辑.开关mini-batch的关键时数据的批量计算，是否在批量计算使得原本存在bug的代码暴露问题业务在FlinkSQL使用了多个双流join和groupwindow，如果不注意使用，很可能导致乱序，最终的错误结果是某条数据没有被正
EventTimeTriggerEventTimeTrigger的触发完全依赖watermark，换言之，如果stream中没有watermark，就不会触发EventTimeTrigger。watermark之于事件时间就是如此重要，来看一下watermark的定义先~Watermarks是某个eventtime窗口中所有数据都到齐的标志。Watermarks作为数据流的一部分流动并携带时间戳t，Watermark(t)断言数据流中不会再有小于时间戳t的事件出现。换言之，当Watermark(t)到达时，标志着所有小于时间戳t的事件都已到齐，可放心地对时间戳t之前的所有事件执行聚合、窗口关闭
EventTimeTriggerEventTimeTrigger的触发完全依赖watermark，换言之，如果stream中没有watermark，就不会触发EventTimeTrigger。watermark之于事件时间就是如此重要，来看一下watermark的定义先~Watermarks是某个eventtime窗口中所有数据都到齐的标志。Watermarks作为数据流的一部分流动并携带时间戳t，Watermark(t)断言数据流中不会再有小于时间戳t的事件出现。换言之，当Watermark(t)到达时，标志着所有小于时间戳t的事件都已到齐，可放心地对时间戳t之前的所有事件执行聚合、窗口关闭
体验简介场景将提供一台配置了CentOS 8.5操作系统的ECS实例（云服务器）。通过本教程的操作带您体验如何使用PolarDB-X与Flink搭建一个实时数据链路，模拟阿里巴巴双十一GMV大屏。实验准备1.创建实验资源开始实验之前，您需要先创建ECS实例资源。在实验室页面，单击创建资源。（可选）在实验室页面左侧导航栏中，单击云产品资源列表，可查看本次实验资源相关信息（例如IP地址、用户信息等）。说明：资源创建过程需要1~3分钟。2.安装PolarDB-X本步骤将指导您如何安装PolarDB-X。安装并启动Docker。执行如下命令，安装Docker。curl-fsSLhttps://get.
体验简介场景将提供一台配置了CentOS 8.5操作系统的ECS实例（云服务器）。通过本教程的操作带您体验如何使用PolarDB-X与Flink搭建一个实时数据链路，模拟阿里巴巴双十一GMV大屏。实验准备1.创建实验资源开始实验之前，您需要先创建ECS实例资源。在实验室页面，单击创建资源。（可选）在实验室页面左侧导航栏中，单击云产品资源列表，可查看本次实验资源相关信息（例如IP地址、用户信息等）。说明：资源创建过程需要1~3分钟。2.安装PolarDB-X本步骤将指导您如何安装PolarDB-X。安装并启动Docker。执行如下命令，安装Docker。curl-fsSLhttps://get.
目录一、概述二、Flink工作原理三、Flink核心概念1）Time（时间语义）2）Window（窗口）3）Trigger1、自定义触发器2、预定义触发器4）State5）状态存储1、MemoryStateBackend2、FsStateBackend3、RocksDBStateBackend6）Checkpoint1、AsynchronousBarrierSnapshots(ABS)2、Exactly-OncevsAt-Least-Once7）Watermark1、自定义数据源设置Timestamp/Watermark2、在数据流中设置Timestamp/Watermark8）广播状态（Br
