1.flink集群搭建不废话直接上代码，都是基于官网的，在此记录一下 Kubernetes|ApacheFlinkflink-configuration-configmap.yamlapiVersion:v1kind:ConfigMapmetadata:name:flink-configlabels:app:flinkdata:flink-conf.yaml:|+jobmanager.rpc.address:flink-jobmanagertaskmanager.numberOfTaskSlots:2blob.server.port:6124jobmanager.rpc.port:6123ta

介绍SQLGateway是一种支持远程多个客户机并发执行SQL的服务。它提供了一种提交Flink Job、查找元数据和在线分析数据的简单方法。SQLGateway由可插拔Endpoints和SqlGatewayService组成。SqlGatewayService是一个被Endpoints重用来处理请求的处理器。Endpoints是允许用户连接的入口点。根据Endpoints的类型，用户可以使用不同的工具进行连接。image-20221213103508918开始FlinkSQLGateway是和Flink发行版绑定的，因此可以开箱即用，它只需要一个正在运行的Flink集群用来执行我们的SQL

作者：禅与计算机程序设计艺术1.简介ApacheFlink是Apache基金会旗下的一个开源项目，其核心功能包括对实时事件流处理、批处理等进行统一计算模型抽象，同时支持多种编程语言和运行环境，具备高容错性、高并发、低延迟等特性。通过可插拔的API和丰富的数据源、算子和Sink，用户可以快速构建应用，完成从ETL、批处理到实时分析的各种任务。本文将从以下几个方面阐述ApacheFlink的开源理念和价值：精神：ApacheFlink以其开放、透明、共赢的精神吸引着众多开发者和企业对其进行试用和采用；源码：ApacheFlink的源码开放透明，并且允许社区提交代码，方便社区参与进来改善Apache

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置16、Flink的tableapi与sql之连接外部系统:读写外部系统的连接器和格式以及FileSystem示例（1）16、Flink的ta

flinkCDC-功能验证记录flink与cdc版本使用搭配：flinkcdc参数说明原理分析（DBLog）无锁算法论文mysqlcdccdcapi动态加表flinkcdcsql性能压测flinkcdcapi性能压测PostgreSqlCDC执行更新语句，会出现2种情况cdcsinktokafka报错mysql时区错误，Theservertimezonevalue'EDT'isunrecognizedorrepresentsjava.lang.NoClassDefFoundError:io/debezium/connector/mysql/MySqlConnectorConfigCannotd

Flink源码分析系列文档目录请点击：Flink源码分析系列文档目录前言FLIP-27:RefactorSourceInterface-ApacheFlink-ApacheSoftwareFoundation提出了新的Source架构。该新架构的分析请参见Flink源码之新Source架构。针对这个新架构，Flink社区新推出了新的Kafkaconnector-KafkaSource。老版本的实现FlinkKafkaConsumer目前被标记为Deprecated，不再推荐使用。本篇展开KafkaSource的源代码分析。本篇包含4个部分的源代码分析：KafkaSource创建数据读取分区发现

写过Spark批处理的应该都知道,有一个广播变量broadcast这样的一个算子,可以优化我们计算的过程,有效的提高效率;同样在Flink中也有broadcast,简单来说和Spark中的类似,但是有所区别,首先Spark中的broadcast是静态的数据,而Flink中的broadcast是动态的,也就是源源不断的数据流.在Flink中会将广播的数据存到state中.在Flink中主流数据可以获取state中的所有状态数据,使用过window的应该都清楚,当两个streamData中的数据到达窗口的时间刚好错过时就会发生关联不上的情况,如window是2S,sreamData1到达窗口的时间

流处理批处理应用于有界数据流的处理，流处理则应用于无界数据流的处理。有界数据流：输入数据有明确的开始和结束。无界数据流：输入数据没有明确的开始和结束，或者说数据是无限的，数据通常会随着时间变化而更新。在Flink中，应用程序由数据流组成，这些数据流可以经由用户自定义的算子进行转换。数据流最终形成有向图，这些图以一个或多个源（Source）开始，以一个或多个接收器（Sink）结束。通常来说，转换（Transformation）与算子之间存在一对一的映射关系，但这并不是绝对的，一个转换也可以包含多个算子。Flink可以处理来自数据流源（例如Kafka）的实时数据，同时也可以处理来自数据源的历史数据

前提知识Akka是一套可扩展、弹性和快速的系统，为此Flink基于Akka实现了一套内部的RPC通信框架；为此先对Akka进行了解AkkaAkka是使用Scala语言编写的库，基于Actor模型提供一个用于构建可扩展、弹性、快速响应的系统；并被应用到Flink中，基于Akka实现了集群组件之间的RPC通信框架Actor模型Actor模型是一个通用的并发编程模型，该模型独立维护隔离状态，基于消息传递实现异步通信，大致可以理解为三部分：邮箱：每个actor持有一个邮箱（mailbox），本质上是一个队列，用于存储消息。行为：每个actor可以发送消息至任何actor。状态：每个actor可以通过处

作者：禅与计算机程序设计艺术1.简介Flink是一个开源的分布式流处理框架，它允许快速轻松地进行实时数据处理，提供了一个完整的数据流程解决方案。它支持低延迟的实时数据计算、高吞吐量的实时数据传输以及复杂事件处理(CEP)。Flink在Apache顶级项目中排名第二，同时也被很多公司用来构建实时的分析系统、实时报表系统和实时机器学习系统等。最近几年，Flink社区发展非常迅速，已经成为最热门的开源大数据平台之一。作为一个开源的分布式流处理框架，Flink在架构、功能和性能上都有着独特的优势。本教程旨在带领读者了解Flink是什么，以及它如何帮助我们进行实时数据处理。2.基本概念术语说明Flink