Flink系列文章Flink（一）1.12.7或1.13.5详细介绍及本地安装部署、验证Flink（二）1.13.5二种部署方式(Standalone、StandaloneHA)、四种提交任务方式（前两种及session和per-job）验证详细步骤Flink（三）flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream详细示例入门和提交任务至onyarn运行Flink（四）介绍Flink的流批一体、transformations的18种算子详细介绍、Flink与Kafka的source、sink介绍Flink（五）source、transfor

1.Flink是什么Flink是一个流式计算框架，它可以处理无限量的数据，并在真正的实时上下文中运行。Flink是一个分布式的、高性能的、可伸缩的、容错的流处理引擎，它支持批处理和流处理，并提供了丰富的API和库，是实时数据处理的理想选择。2.主要角色Flink中的主要角色有：JobManager：负责接收提交的作业并分配任务，监控作业的执行情况，并在节点故障时重新分配任务；TaskManager：负责实际的任务执行，包括数据的读取、转换、计算和输出；Client：提交作业的客户端，将作业提交至JobManager，并接收作业的执行结果。3.角色之间的通讯方式Flink中角色之间的最佳通讯方式

文章目录一、各部分介绍二、安装配置1、安装pushgateway2、安装Prometheus3、Grafana安装三、测试使用一、各部分介绍采集层flinkAPP和linuxsystem两部分，是我们要收集指标数据的组件传输层Pushgateway：是一个推送收集和推送数据的组件Node_exporter：数据导出组件存储计算层Prometheus：系统监控和预警框架应用层Grafana：可视化展示平台二、安装配置1、安装pushgateway#在线下载#离线下载直接访问地址wgetwgethttps://github.com/prometheus/pushgateway/releases/d

环境说明：flink1.15.2Oracle版本：OracleDatabase11gEnterpriseEditionRelease11.2.0.1.0-64bitProductionmysql版本：5.7windows11IDEA本地运行具体环境设置和maven依赖请看上篇：FlinkCDC基于Oraclelogarchiving实时同步Oracle表到Mysql_彩虹豆的博客-CSDN博客现在操作的是源表和目标表都无主键数据实时同步，其实是在flink建立和sink表的关联时，指定了主键，只不过是flink实时同步程序的需要，sink目标表没有主键。1.Oracel建表CREATETABL

Iceberg从入门到精通系列之十：flinksql往Iceberg表插入数据一、INSERTINTO二、INSERTOVERWRITE三、UPSERT四、查询Batch模式五、查询Streaming模式六、读取Kafka流插入到iceberg表中一、INSERTINTOCREATETABLE`stu`(idint,namestring,ageint)PARTITIONEDBY(age)insertintostuvalues(3,'杀sheng',16),(4,'鸣人',19)二、INSERTOVERWRITE仅支持Flink的Batch模式SETexecution.runtime-mode=

Flink系列之：使用FlinkCDC从数据库采集数据，设置checkpoint支持数据采集中断恢复，保证数据不丢失一、相关技术博客二、FlinkCDC从数据库采集数据三、设置checkpoint四、构建流处理管道一、相关技术博客博主相关技术博客：Flink系列之：Debezium采集Mysql数据库表数据到KafkaTopic，同步kafkatopic数据到StarRocks数据库Flink系列之：使用FlinkMysqlCDC基于FlinkSQL同步mysql数据到StarRocks数据库

问题1：flink1.14包org.apache.flink.shaded.guava版本冲突java.lang.NoClassDefFoundError:org/apache/flink/shaded/guava18/com/google/common/util/concurrent/ThreadFactoryBuilderatcom.ververica.cdc.debezium.DebeziumSourceFunction.open(DebeziumSourceFunction.java:218)~[flink-connector-debezium-2.2.0.jar:2.2.0]ator

1、场景kafka日志数据从kafka读取1、关联字典表：完善日志数据2、判断日志内容级别：多路输出低级：入clickhouse高级：入clickhouse的同时推送到kafka供2次数据流程处理。2、实现packagecom.ws.kafka2clickhouse;importcn.hutool.json.JSONUtil;importcom.ws.kafka2clickhouse.bean.CompanyInfo;importcom.ws.kafka2clickhouse.bean.LogEvent;importcom.ws.kafka2clickhouse.sink.MyClickHou

Iceberg从入门到精通系列之七：FlinkSQL创建Catalog一、语法说明二、flink集成hivejar包三、放到指定目录四、启动hivemetastore服务五、创建hivecatalog六、查看catalog七、HadoopCatalog八、创建sql-client初始化文件九、启动flinksql指定初始化文件一、语法说明createcatalogcatalog_name>with('type'='iceberg',``=``);type：必须是icebergcatalog-type：内置了hive和hadoop两种catalog，也可以使用catalog-impl来自定义ca

一、概述在本地IDEA测试中，使用本地文件存储系统，作为checkpoint的存储系统，将备份数据存储到本地文件中，作业停止后，从本地备份数据启动Flink程序。主要分为两步：1）备份数据2）从备份数据启动二、备份数据备份数据的配置，和使用HDFS文件体统类似，只不过路径填写成本地文件系统的路径，注意格式需要是file:///******/******/，和HDFS文件系统的配置略有不同。文件具体存储的位置，在idea安装路径的根路径下。比如本人IDEA安装在D盘下，checkpoint地址配置为 file:///Users/flink/checkpoints/TestCheckPoint，那