随着Flink&Spark生态的不断完善，越来越多的企业选择这两款组件，或者其中之一作为离线&实时的大数据开发工具，但是在使用他们进行大数据的开发中我们会遇到一些问题，比如：任务运行监控怎么处理？使用Cluster模式还是Nodeport暴露端口访问WebUI？提交任务能否简化打包镜像的流程?如何减少开发压力？而StreamX就是专为解决这些问题而出现的，其提供了如下的一些功能：开发脚手架Kubernetes部署模式支持YARN-Application部署模式支持多版本Flink支持(1.12.x,1.13.x,1.14.x)一系列开箱即用的Connectors支持项目编译功能(CICD/ma

文章目录01引言02前提条件03配置3.1启用日志归档3.2用户赋权3.3表或数据库上启用增量日志记录（supplementallog）3.3.1Oracle逻辑结构3.3.2创建表3.3.3启用增量日志04flinksql05其它问题06文末01引言官方文档：https://github.com/ververica/flink-cdc-connectors/blob/release-master/docs/content/connectors/oracle-cdc.md本文参照官方文档来记录OracleCDC的配置。在本文开始前，需要先安装Oracle，有兴趣的同学可以参考博主之前写的《do

Flink的aggregate()方法一般是通过实现AggregateFunction接口对数据流进行聚合计算的场景。例如，在使用Flink的DataStreamAPI时，用户经常需要对输入数据进行分组操作，并按照一组key对数据进行汇总、运算或聚合计算。对于这些场景，可以使用aggregate()方法来实现聚合计算。通过指定一个AggregateFunction类型的函数作为聚合操作来调用aggregate()方法，可以对元素流进行聚合和处理，生成新的输出流。在具体应用中，根据不同的业务需求，可以根据实际情况选择不同类型的AggregateFunction来完成聚合计算任务。接下来先对Agg

目录Flink异步算子使用介绍使用Flink异步算子+多线程异步查询MySQL相关阅读1Flink使用异步算子请求高德地图获取位置信息1、概述1）Flink异步算子使用介绍1.异步与同步概述同步：向数据库发送一个请求然后一直等待，直到收到响应。在许多情况下，等待占据了函数运行的大部分时间。异步：一个并行函数实例可以并发地处理多个请求和接收多个响应。函数在等待的时间可以发送其他请求和接收其他响应。至少等待的时间可以被多个请求摊分。异步的优势：异步交互可以大幅度提高流处理的吞吐量。注意：仅仅提高算子的并行度（parallelism）在有些情况下也可以提升吞吐量，但是这样做通常会导致非常高的资源消耗

Flink详解（四）：核心篇Ⅲ29、Flink通过什么实现可靠的容错机制？Flink使用轻量级分布式快照，设计检查点（checkpoint）实现可靠容错。30、什么是Checkpoin检查点？Checkpoint被叫做检查点，是Flink实现容错机制最核心的功能，是Flink可靠性的基石，它能够根据配置周期性地基于Stream中各个Operator的状态来生成Snapshot快照，从而将这些状态数据定期持久化存储下来，当Flink程序一旦意外崩溃时，重新运行程序时可以有选择地从这些Snapshot进行恢复，从而修正因为故障带来的程序数据状态中断。Flink的Checkpoint机制原理来自Ch

flink-conf.yaml基础配置#jobManager的IP地址jobmanager.rpc.address:localhost#JobManager的端口号jobmanager.rpc.port:6123#JobManagerJVMheap内存大小jobmanager.heap.size:1024m#TaskManagerJVMheap内存大小taskmanager.heap.size:1024m#每个TaskManager提供的任务slots数量大小taskmanager.numberOfTaskSlots:1#程序默认并行计算的个数parallelism.default:1容错检查

1. 概念 有状态的流式计算框架可以处理源源不断的实时数据，数据以event为单位，就是一条数据。2. 开发流程先获取执行环境env，然后添加source数据源，转换成datastream，然后使用各种算子进行计算，使用sink算子指定输出的目的地，最后调用execute方法执行。3. flink运行模式standaloneyarnk8s4. flink部署模式(yarn)session先启动集群，再提交job到集群per-job一个job启动一个集群aplication一个job启动一个集群per-job和application区别：提交代码位置不一样，单作业模式的main方法在客户端执行，

前言学习总结FlinkMySQLCDC，主要目的是同步MySQL数据至其他数据源如Hudi、MySQL等，本文主要以MySQL2Hudi、MySQL2MySQL两个场景进行示例验证。版本Flink版本Flink1.14.3、1.15.4、1.16.1Hudi0.13.0MYSQLCDC2.3.0安装将下面的Jar包拷贝到flink/lib下面（以flink1.15.4为例）MySQLCDC（CDC读取MySQL）:flink-sql-connector-mysql-cdc-2.3.0.jar，下载地址：https://repo1.maven.org/maven2/com/ververica/f

大家都知道flinksql中leftjoin数据不会互相等待，存在retract问题，会导致写入kafka的数据量变大，就会导致出现数据重复的问题。举例：即常见的曝光日志流（show_log）通过log_id关联点击日志流（click_log），将数据的关联结果进行下发。 执行sqlINSERTINTOsink_tableSELECTshow_log.log_idaslog_id,show_log.timestampastimestamp,show_log.show_paramsasshow_params,click_log.click_paramsasclick_paramsFROMshow

文章目录Flink用武之地一、Event-drivenApplications【事件驱动】