记一次FlinkCDC引起的Mysql元数据锁事故，总结经验教训。后续在编写FlinkCDC任务时，要处理好异常，避免产生长时间的元数据锁。同时出现生产问题时要及时排查，不能抱有侥幸心理。1、事件经过某天上午，收到系统的告警信息，告警提示：同步Mysql的某张表数据到Elasticsearch异常，提示连不上Mysql，当时没有太上心，以为可能是偶尔网络异常。然后立马大量用户开始投诉系统使用有问题，同时听到有同事反馈内部系统数据导不出来。此时我慌了。立马看了微服务网关、用户中心服务、部分流量比较大的BFF层服务，CPU、内存、磁盘等都是正常的。但是Pod出现了健康检查失败的情况。于是又赶紧看了
前言FlinkCDC于2021年11月15日发布了最新版本2.1，该版本通过引入内置Debezium组件，增加了对Oracle的支持。对该版本进行试用并成功实现了对Oracle的实时数据捕获以及性能调优，现将试用过程中的一些关键细节进行分享。使用环境Oracle：11.2.0.4.0（RAC部署）Flink：1.13.1Hadoop：3.2.1问题1、无法连接数据库根据官方文档说明，在FlinkSQLCLI中输入以下语句：createtableTEST(Astring)WITH('connector'='oracle-cdc','hostname'='10.230.179.125','port
某天正在摸鱼的小邓，突然接到任务需要1个月内掌握flink并接手前辈遗留下来的大数据计算项目，于是便有了此文。1.flink 简单了解 有状态的数据计算、流批一体、高吞吐、低延迟、灵活、可扩展性好 发展历史： Flink起源于一个叫作Stratosphere的项目，它是由3所地处柏林的大学和欧洲其他一些大学在2010-2014年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科(VolkerMarkl)领街开发2014年4月，Stratosphere的代码被复制并捐赠给了Apache软件基金会，Flink就是在此基础上被重新设计出来的。在德语中，“flink”一词表示“快速、
目录窗口分配器时间窗口计数窗口全局窗口窗口函数增量聚合函数全窗口函数（fullwindowfunctions）增量聚合和全窗口函数的结合使用WindowAPI主要由两部分构成：窗口分配器（WindowAssigners）和窗口函数（WindowFunctions）stream.keyBy().window()//指明窗口的类型.aggregate()//定义窗口具体的处理逻辑在window()方法中传入一个窗口分配器；在aggregate()方法中传入一个窗口函数；窗口分配器指定窗口的类型，定义数据应该被“分配”到哪个窗口方法：.window()参数：WindowAssigner返回值：Win
1、下载解压安装包到对应目录>[zhangflink@9wmwtivvjuibcd2epackage]$tar-zxvfflink-1.16.0-bin-scala_2.12.tgz-C../software/2、修改配置文件[zhangflink@9wmwtivvjuibcd2esoftware]$vimflink/conf/flink-conf.yaml#设置jobmanager的机器地址jobmanager.rpc.address:flinkv2#设置允许访问jobmanager的机器地址，相当于白名单，0.0.0.0表示允许所有机器访问jobmanager.bind-host:0.0.
目录1.概述2.系统架构3.MySQL安装配置4.Doris安装配置5.Flink安装配置6.开始同步数据到Doris7.总结1.概述在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。但是这样给后面数据分析带来了麻烦，这个时候我们通常试将业务数据库的分库分表同步到数据仓库时，将这些分库分表的数据，合并成一个库，一个表。便于我们后面的数据分析本篇文档我们就演示怎么基于FlinkCDC并结合ApacheDorisFlinkConnector及DorisStreamLoad的两阶段提交，实现MySQL数据库分库分表实时高效的接入到A
背景在上一个章节中已经介绍了基本的Flink-Operator安装，但是在实际的数据中台的项目中，用户可能希望看到FlinkOperator的运行日志情况，当然这可以通过修改Flink-OperatorPOD的文件实现卷挂载的形势将日志输出到宿主机器的指定目录下，但是这种办法对数据中台的产品不是特别友好，因此我们需要将Operator服务的日志输出到KafkaAppender中；因此我们需要修改FlinkOperator的helm中的values配置文件文件，达成我们的目标.默认情况下FlinkOperator不支持KafkaAppender日志输出，为了支持改能力，需要在flink-oper
《Flink详解》系列（已完结），共包含以下101010篇文章：【大数据】Flink详解（一）：基础篇（架构、并行度、算子）【大数据】Flink详解（二）：核心篇Ⅰ（窗口、WaterMark）【大数据】Flink详解（三）：核心篇Ⅱ（状态State）【大数据】Flink详解（四）：核心篇Ⅲ（Checkpoint、Savepoint、Exactly-Once）【大数据】Flink详解（五）：核心篇Ⅳ（反压、序列化、内存模型）【大数据】Flink详解（六）：源码篇Ⅰ（作业提交、Local方式、YARN方式、K8s方式）【大数据】Flink详解（七）：源码篇Ⅱ（作业图、执行图、调度、作业生命周期、T
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
FlinkCDC的概览和使用1.什么是CDC2.什么是FlinkCDC3.FlinkCDC前生今世3.1FlinkCDC1.x3.2FlinkCDC2.x3.3FlinkCDC3.x4.FlinkCDC使用5.Debezium标准CDCEvent格式详解1.什么是CDCCDC（ChangeDataCapture，数据变更抓取）是一种用于跟踪数据库中数据更改的技术。它用于监视数据库中的变化，并捕获这些变化，以便实时或定期将变化的数据同步到其他系统、数据仓库或分析平台。CDC技术通常用于数据复制、数据仓库更新、实时报告和数据同步等场景。CDC可以捕获数据库中的以下类型的数据变化：✅插入（Inser
