记一次FlinkCDC引起的Mysql元数据锁事故，总结经验教训。后续在编写FlinkCDC任务时，要处理好异常，避免产生长时间的元数据锁。同时出现生产问题时要及时排查，不能抱有侥幸心理。1、事件经过某天上午，收到系统的告警信息，告警提示：同步Mysql的某张表数据到Elasticsearch异常，提示连不上Mysql，当时没有太上心，以为可能是偶尔网络异常。然后立马大量用户开始投诉系统使用有问题，同时听到有同事反馈内部系统数据导不出来。此时我慌了。立马看了微服务网关、用户中心服务、部分流量比较大的BFF层服务，CPU、内存、磁盘等都是正常的。但是Pod出现了健康检查失败的情况。于是又赶紧看了
来啦来啦，下面大米饭来分享前端怎么通过docker利用nginx镜像来部署项目，正常来说docker部署属于运维工作，身为前端的我暂时只负责了前半部分镜像相关的工作，后面更深层的k8s部署原理等只闻其名，未闻其含义，后面略讲一些，有兴趣的人可以深究一下什么是Docker什么是Docker，百度官方表明Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或Windows操作系统的机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。简单来说就是，docker是一个开源的容器平台，帮助开发者在不同的环境和
前言FlinkCDC于2021年11月15日发布了最新版本2.1，该版本通过引入内置Debezium组件，增加了对Oracle的支持。对该版本进行试用并成功实现了对Oracle的实时数据捕获以及性能调优，现将试用过程中的一些关键细节进行分享。使用环境Oracle：11.2.0.4.0（RAC部署）Flink：1.13.1Hadoop：3.2.1问题1、无法连接数据库根据官方文档说明，在FlinkSQLCLI中输入以下语句：createtableTEST(Astring)WITH('connector'='oracle-cdc','hostname'='10.230.179.125','port
某天正在摸鱼的小邓，突然接到任务需要1个月内掌握flink并接手前辈遗留下来的大数据计算项目，于是便有了此文。1.flink 简单了解 有状态的数据计算、流批一体、高吞吐、低延迟、灵活、可扩展性好 发展历史： Flink起源于一个叫作Stratosphere的项目，它是由3所地处柏林的大学和欧洲其他一些大学在2010-2014年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科(VolkerMarkl)领街开发2014年4月，Stratosphere的代码被复制并捐赠给了Apache软件基金会，Flink就是在此基础上被重新设计出来的。在德语中，“flink”一词表示“快速、
目录窗口分配器时间窗口计数窗口全局窗口窗口函数增量聚合函数全窗口函数（fullwindowfunctions）增量聚合和全窗口函数的结合使用WindowAPI主要由两部分构成：窗口分配器（WindowAssigners）和窗口函数（WindowFunctions）stream.keyBy().window()//指明窗口的类型.aggregate()//定义窗口具体的处理逻辑在window()方法中传入一个窗口分配器；在aggregate()方法中传入一个窗口函数；窗口分配器指定窗口的类型，定义数据应该被“分配”到哪个窗口方法：.window()参数：WindowAssigner返回值：Win
1、下载解压安装包到对应目录>[zhangflink@9wmwtivvjuibcd2epackage]$tar-zxvfflink-1.16.0-bin-scala_2.12.tgz-C../software/2、修改配置文件[zhangflink@9wmwtivvjuibcd2esoftware]$vimflink/conf/flink-conf.yaml#设置jobmanager的机器地址jobmanager.rpc.address:flinkv2#设置允许访问jobmanager的机器地址，相当于白名单，0.0.0.0表示允许所有机器访问jobmanager.bind-host:0.0.
目录1.概述2.系统架构3.MySQL安装配置4.Doris安装配置5.Flink安装配置6.开始同步数据到Doris7.总结1.概述在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。但是这样给后面数据分析带来了麻烦，这个时候我们通常试将业务数据库的分库分表同步到数据仓库时，将这些分库分表的数据，合并成一个库，一个表。便于我们后面的数据分析本篇文档我们就演示怎么基于FlinkCDC并结合ApacheDorisFlinkConnector及DorisStreamLoad的两阶段提交，实现MySQL数据库分库分表实时高效的接入到A
背景在上一个章节中已经介绍了基本的Flink-Operator安装，但是在实际的数据中台的项目中，用户可能希望看到FlinkOperator的运行日志情况，当然这可以通过修改Flink-OperatorPOD的文件实现卷挂载的形势将日志输出到宿主机器的指定目录下，但是这种办法对数据中台的产品不是特别友好，因此我们需要将Operator服务的日志输出到KafkaAppender中；因此我们需要修改FlinkOperator的helm中的values配置文件文件，达成我们的目标.默认情况下FlinkOperator不支持KafkaAppender日志输出，为了支持改能力，需要在flink-oper
《Flink详解》系列（已完结），共包含以下101010篇文章：【大数据】Flink详解（一）：基础篇（架构、并行度、算子）【大数据】Flink详解（二）：核心篇Ⅰ（窗口、WaterMark）【大数据】Flink详解（三）：核心篇Ⅱ（状态State）【大数据】Flink详解（四）：核心篇Ⅲ（Checkpoint、Savepoint、Exactly-Once）【大数据】Flink详解（五）：核心篇Ⅳ（反压、序列化、内存模型）【大数据】Flink详解（六）：源码篇Ⅰ（作业提交、Local方式、YARN方式、K8s方式）【大数据】Flink详解（七）：源码篇Ⅱ（作业图、执行图、调度、作业生命周期、T
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
