1背景在日常Flink使用过程中，我们经常遇到Flink任务中某些Slot或者TM负载过重的问题，对日常的资源调配、运维以及降本都带来了很大的影响，所以我们对Flink的task部署机制进行了梳理和调研，准备在后续的工作中进行优化。由于jobGraph的生成以及任务提交流程因任务部署方式而不同，对我们后续的分析也没有影响，这里忽略前置流程，直接从Dispatcher出发，重点关注submit后executionGraph构建以及后续的任务部署过程。2FlinkSchedulingComponents构成2.1   SchedulerNG在Dispatcher收到submit请求后，先是启动了J

一、概述在实际私有化物联网平台项目中，部分存量设备由于异构总线、多制式以太网、协议多样化等因素导致无法直接连接物联网平台，大量数据较难集成，平台侧和设备侧面临大量定制化开发，成本较高。因此难以推动客户或设备厂商进行存量设备接入改造，导致设备无法直连物联网平台，无法达到物联网平台对企业所有设备数据进行统一纳管。企业内部存量的数据采集系统多为“烟囱式”，各个厂商的系统只需对接自己厂商的设备即可，数据孤岛问题突出。各“烟囱”的数据格式各不相同，定制化采集任务代码不可复用，费时费力，难以同时支撑多个项目。除了设备数据采集外，还有业务数据采集需求，传统物联网系统只能采集设备数据而无法集成业务数据。二、技

一、概述在实际私有化物联网平台项目中，部分存量设备由于异构总线、多制式以太网、协议多样化等因素导致无法直接连接物联网平台，大量数据较难集成，平台侧和设备侧面临大量定制化开发，成本较高。因此难以推动客户或设备厂商进行存量设备接入改造，导致设备无法直连物联网平台，无法达到物联网平台对企业所有设备数据进行统一纳管。企业内部存量的数据采集系统多为“烟囱式”，各个厂商的系统只需对接自己厂商的设备即可，数据孤岛问题突出。各“烟囱”的数据格式各不相同，定制化采集任务代码不可复用，费时费力，难以同时支撑多个项目。除了设备数据采集外，还有业务数据采集需求，传统物联网系统只能采集设备数据而无法集成业务数据。二、技

一、概述Hudi（HadoopUpsertsDeletesandIncrementals）​，简称​Hudi​，是一个流式数据湖平台，支持对海量数据快速更新，内置表格式，支持事务的存储层、一系列表服务、数据服务(开箱即用的摄取工具)以及完善的运维监控工具，它可以以极低的延迟将数据快速存储到HDFS或云存储（S3）的工具，最主要的特点支持记录级别的插入更新（Upsert）和删除，同时还支持增量查询。GitHub地址：https://github.com/apache/hudi官方文档：https://hudi.apache.org/cn/docs/overview关于ApacheHudi数据湖也

一、概述Hudi（HadoopUpsertsDeletesandIncrementals）​，简称​Hudi​，是一个流式数据湖平台，支持对海量数据快速更新，内置表格式，支持事务的存储层、一系列表服务、数据服务(开箱即用的摄取工具)以及完善的运维监控工具，它可以以极低的延迟将数据快速存储到HDFS或云存储（S3）的工具，最主要的特点支持记录级别的插入更新（Upsert）和删除，同时还支持增量查询。GitHub地址：https://github.com/apache/hudi官方文档：https://hudi.apache.org/cn/docs/overview关于ApacheHudi数据湖也

​2018至2019年，在那风起“云”涌的日子里，传统IT企业和云服务提供商纷纷盯上了开源这块富饶的土地。继微软75亿美元收购素有“开发者神器”之称的GitHub后，蓝色巨人IBM斥资340亿美元拿下开源界“一哥”RedHat，阿里巴巴也以9000万欧元揽得Flink背后的创业新星DataArtisans(后更名为Ververica)，代表中国企业参与全球化开源开发者生态的布局与角逐。短短数年后，这些当年多多少少都曾被诟病“商业公司破坏开源生态”的收购案，如今恰恰证明商业巨头介入对于开源生态的持续繁荣是何等重要。种种迹象表明，在时代变革的浪潮下，迅速发展的公有云厂商不仅不是开源的“拦路虎”，反

​2018至2019年，在那风起“云”涌的日子里，传统IT企业和云服务提供商纷纷盯上了开源这块富饶的土地。继微软75亿美元收购素有“开发者神器”之称的GitHub后，蓝色巨人IBM斥资340亿美元拿下开源界“一哥”RedHat，阿里巴巴也以9000万欧元揽得Flink背后的创业新星DataArtisans(后更名为Ververica)，代表中国企业参与全球化开源开发者生态的布局与角逐。短短数年后，这些当年多多少少都曾被诟病“商业公司破坏开源生态”的收购案，如今恰恰证明商业巨头介入对于开源生态的持续繁荣是何等重要。种种迹象表明，在时代变革的浪潮下，迅速发展的公有云厂商不仅不是开源的“拦路虎”，反

本文首发于我的个人博客网站等待下一个秋-Flink什么是CDC？CDC是（ChangeDataCapture变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。[图片上传失败...(image-7f4dd8-1663325351846)]1.环境准备mysqlelasticsearchflinkonyarn说明：如果没有安装hadoop，那么可以不用yarn，直接用flinkstandalone环境吧。2.下载下列依赖包下面两个地址

本文首发于我的个人博客网站等待下一个秋-Flink什么是CDC？CDC是（ChangeDataCapture变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。[图片上传失败...(image-7f4dd8-1663325351846)]1.环境准备mysqlelasticsearchflinkonyarn说明：如果没有安装hadoop，那么可以不用yarn，直接用flinkstandalone环境吧。2.下载下列依赖包下面两个地址

1.DDL:CREATE建表语句CREATETABLE[catalog_name.][db_name.]table_name({|}[,...n][])[COMMENTtable_comment][PARTITIONEDBY(partition_column_name1,partition_column_name2,...)]WITH(key1=val1,key2=val2,...):column_namecolumn_type[COMMENTcolumn_comment]:column_nameAScomputed_column_expression[COMMENTcolumn_commen