架构所有的分布式计算引擎都需要有集群的资源管理器，例如：可以把MapReduce、Spark程序运行在YARN集群中、或者是Mesos中。Flink也是一个分布式计算引擎，要运行Flink程序，也需要一个资源管理器。而学习每一种分布式计算引擎，首先需要搞清楚的就是：我们开发的分布式应用程序是如何在集群中执行的，这其中一定会涉及到与资源管理器的交互。其实，可以把资源管理看成是一个cluster的抽象。我们来看一下Flink集群会涉及到的重要角色。clientclient将编写的代码转换为程序的Dataflow，并对Dataflow进行优化，生成DataflowGraph，再将job提交给JobM

什么是FlinkCDC，以及如何使用CDC介绍FlinkCDC适用于场景？FlinkCDC的简单用例数据库配置创建数据库和相应的表开启mysql数据库bin-log日志1.如果是服务器2.如果在Windows使用小皮搭建FlinkCDCjava环境添加maven相关pom构建Sinkmain配置运行操作数据库查看结果操作数据JSON讲解CDC介绍数据库中的CDC（ChangeDataCapture，变更数据捕获）是一种用于实时跟踪数据库中数据变化的技术。CDC的主要目的是在数据库中捕获增量数据，以便在需要时可以轻松地将这些数据合并到其他系统或应用程序中。CDC在数据库管理、数据同步、数据集成和

ApacheFlink应运而生数字化经济革命的浪潮正在颠覆性地改变着人类的工作方式和生活方式，数字化经济在全球经济增长中扮演着越来越重要的角色，以互联网、云计算、大数据、物联网、人工智能为代表的数字技术近几年发展迅猛，数字技术与传统产业的深度融合释放出巨大能量，成为引领经济发展的强劲动力。大数据技术从2008年开始在国内逐渐兴起，到现在已经十几年了，在这段时间里，IT也在飞速发展，而大数据的出现和使用无疑给IT的迅猛发展提供了一臂之力。随着时间的推移，越来越多的公司在实时处理层面要求更高，希望数据从产生到完全被处理之间的时间延迟尽量减小，且能够应对实时处理带来的各种复杂问题，如数据延迟、数据的

参考文章：https://www.cnblogs.com/liugp/p/16755095.html如果你的程序中需要用到HDFS（一般是checkpint的存储目录），可以先参考上一篇文章：Hadoop、HiveOnk8s《Hadoop、HiveOnk8s》介绍FlinkOnK8s有两种方式session：先启动一个jobmanager，在提交任务，启动taskmangerapplication：直接将jar提交运行，每一个jar所在的环境都是单独的（主要讲这个）组件版本：hadoop：2.7.2flink：1.15.1一、构建DockerFilevimdockerfile-flink-1.

flink-cdc官网：OracleCDCConnector—CDCConnectorsforApacheFlink®documentationFlink环境依赖:ORACLE_SID=SIDexportORACLE_SIDsqlplus/nologCONNECTsys/passwordASSYSDBA（3）启用日志归档altersystemsetdb_recovery_file_dest_size=10G;altersystemsetdb_recovery_file_dest='/opt/oracle/oradata/recovery_area'scope=spfile;shutdownim

1、jobmanager日志    在yarn上可以直接看2、taskmanager日志     在flink的webui中可以看，但是flink任务失败后，webui就不存在了，那怎么看？这是jobmanager的地址hadoop02:19888/jobhistory/logs/hadoop02:45454/container_e03_1684463979345_0028_01_000001/container_e03_1684463979345_0028_01_000001/root然你要看taskmanager的地址，首先我们要知道taskmanager运行在 打开Jobmanager日

CDC 的全称是 ChangeDataCapture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。mysqlcdc需要mysql开启binlog，找到my.cnf，在[mysqld]中加入如下信息[mysqld]server-id=1log-bin=mysql-binbinlog-format=row重启数据库。2.创建springboot项目，pom添加依赖1.81.13.62.111.7.30org.apache.flinkflink-table-planner-blink

flink1.14sql基础语法（二）flinksql表定义详解一、表的概念和类别1.1表的标识结构每一个表的标识由3部分组成：catalogname(常用于标识不同的“源”，比如hivecatalog，innercatalog等)databasename(通常语义中的“库”)tablename(通常语义中的“表”)packagecn.yyds.sql;importorg.apache.flink.api.common.RuntimeExecutionMode;importorg.apache.flink.streaming.api.environment.StreamExecutionEnv

目录概述设置重启策略什么是flink的重启策略（Restartstrategy）flink的重启策略（Restartstrategy）实战flink的4种重启策略FixedDelayRestartstrategy(固定延时重启策略)FailureRateRestartstrategy(故障率重启策略)NoRestartstrategy(不重启策略)配置StateBackends以及CheckpointingCheckpoint启用和配置选择StatebackendMemoryStateBackendFsStateBackendRocksDBStateBackendStatebackend比较概

背景在Flink中有两种基本的状态：KeyedState和OperatorState，OperatorState很好理解，一个特定的Operator算子共享同一个state，这是实现层面很好做到的。但是KeyedState是怎么实现的？一般来说，正常的人第一眼就会想到:一个task绑定一个KeydState,从网上随便查找资料就能发现正确的答案是:对于每一个Key会绑定一个State，但是这在Flink中是怎么实现的呢？注意:这里我们只讲Flink中是怎么实现一个Key对应一个State的，其他细节并不细说,且state的backend为RocksDB闲说杂谈我们以ValueState类型的K