flink-conf.yaml基础配置#jobManager的IP地址jobmanager.rpc.address:localhost#JobManager的端口号jobmanager.rpc.port:6123#JobManagerJVMheap内存大小jobmanager.heap.size:1024m#TaskManagerJVMheap内存大小taskmanager.heap.size:1024m#每个TaskManager提供的任务slots数量大小taskmanager.numberOfTaskSlots:1#程序默认并行计算的个数parallelism.default:1容错检查

1. 概念 有状态的流式计算框架可以处理源源不断的实时数据，数据以event为单位，就是一条数据。2. 开发流程先获取执行环境env，然后添加source数据源，转换成datastream，然后使用各种算子进行计算，使用sink算子指定输出的目的地，最后调用execute方法执行。3. flink运行模式standaloneyarnk8s4. flink部署模式(yarn)session先启动集群，再提交job到集群per-job一个job启动一个集群aplication一个job启动一个集群per-job和application区别：提交代码位置不一样，单作业模式的main方法在客户端执行，

前言学习总结FlinkMySQLCDC，主要目的是同步MySQL数据至其他数据源如Hudi、MySQL等，本文主要以MySQL2Hudi、MySQL2MySQL两个场景进行示例验证。版本Flink版本Flink1.14.3、1.15.4、1.16.1Hudi0.13.0MYSQLCDC2.3.0安装将下面的Jar包拷贝到flink/lib下面（以flink1.15.4为例）MySQLCDC（CDC读取MySQL）:flink-sql-connector-mysql-cdc-2.3.0.jar，下载地址：https://repo1.maven.org/maven2/com/ververica/f

大家都知道flinksql中leftjoin数据不会互相等待，存在retract问题，会导致写入kafka的数据量变大，就会导致出现数据重复的问题。举例：即常见的曝光日志流（show_log）通过log_id关联点击日志流（click_log），将数据的关联结果进行下发。 执行sqlINSERTINTOsink_tableSELECTshow_log.log_idaslog_id,show_log.timestampastimestamp,show_log.show_paramsasshow_params,click_log.click_paramsasclick_paramsFROMshow

文章目录Flink用武之地一、Event-drivenApplications【事件驱动】 

目录一、CDC简介?二、FlinkCDC案例实操三、Flink-CDC2.0四、核心原理分析一、CDC简介?什么是CDC?CDC是ChangeDataCapture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。CDC的种类CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别：基于查询的CDC基于Binlog的CDC开源产品Sqoop、KafkaJDBCSourceCanal、Maxwell、Debezium执行模式BatchSt

作者：禅与计算机程序设计艺术11."Flink与Cassandra：如何在大规模数据处理中存储与管理数据"1.引言1.1.背景介绍随着大数据时代的到来，数据处理的需求也越来越大。在实际工作中，我们常常需要处理海量数据，如何高效地存储与管理数据成为了我们必须面对的问题。1.2.文章目的本文旨在探讨如何在大型数据处理环境中使用Flink和Cassandra进行数据存储与管理。首先将介绍Flink的基本概念和原理，然后讨论如何使用Cassandra进行数据存储。接着将讨论Flink和Cassandra之间的技术比较，最后给出实际应用场景和代码实现。1.3.目标受众本文主要针对大数据处理工程师、架构师

一、FLINK实时数仓项目简介1、​​​​​​普通实时计算与实时数仓比较普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性。 2、实时数仓项目分层ODS原始数据，日志和业务数据 。DWD根据数据对象为单位进行分流，比如订单、页面访问等等。DIM维度数据。DWM对于部分数据对象进行进一步加工，比如独立访问、跳出行为ÿ

1.介绍本章节主要说明各类型flinksql的先后编写执行顺序，另外简单写一些实际可用的案例。推荐大家使用StreamPark进行flinksql任务的开发和上线，官网地址：https://streampark.apache.org/2.编写顺序set该语句主要是设置本次提交任务环境的一些参数，因此必须写到所有语句的开头，在其他语句执行之前必须先设置参数，之后的语句执行才能使用到设置好的参数。特殊设置：sql方言，默认情况下，flink使用的是自己的方言，但如果想要迁移之前一些hivesql语句，可能想直接使用flinksql引擎直接执行语句，以减少迁移的成本。此时就可以将设置sql方言的se

文章目录流式计算简介一、数据的时效性二、流式计算和批量计算