目录1、添加pom依赖2、API使用说明3、这是一个完整的入门案例4、Kafka消息应该如何解析4.1、只获取Kafka消息的value部分​4.2、获取完整Kafka消息(key、value、Metadata)4.3、自定义Kafka消息解析器5、起始消费位点应该如何设置​5.1、earliest()5.2、latest()5.3、timestamp()6、Kafka分区扩容了，该怎么办——动态分区检查7、在加载KafkaSource时提取事件时间&添加水位线7.1、使用内置的单调递增的水位线生成器+kafka timestamp为事件时间7.2、使用内置的单调递增的水位线生成器+kafka

Flink侧流输出源码解析Flink的sideoutput为我们提供了侧流（分流）输出的功能，根据条件可以把一条流分为多个不同的流，之后做不同的处理逻辑，下面就来看下侧流输出相关的源码。先来看下面的一个Demo，一个流被分成了3个流，一个主流，两个侧流输出。SingleOutputStreamOperatorprocess=kafka_source1.process(newProcessFunction(){@OverridepublicvoidprocessElement(JasonLeePOJOvalue,ProcessFunction.Contextctx,Collectorout)th

一、addSource&fromSource、addSink&SinkTo    这两组算子区别在于：addSource和addSink需要自己实现SourceFunction或者是SinkFunction，其中读取数据的逻辑，容错等都需要自己实现；fromSource和SinkTo，是flink提供的简易的读取和输出的算子，建议优先使用fromSource和SinkTo，并结合flink官方文档；二、filesystemsource算子1.readTextFile（filePath:String,charsetName:String）：底层调用的是readFile(format,filePa

文章目录前言知识积累CDC简介CDC的种类常见的CDC方案比较Springboot接入FlinkCDC环境准备项目搭建本地运行集群运行将项目打包将包传入集群启动远程将包部署到flink集群写在最后前言前面的博文我们分享了大数据分布式流处理计算框架Flink和其基础环境的搭建，相信各位看官都已经搭建好了自己的运行环境。那么，今天就来实战一把使用FlinkCDC同步Mysql数据导Elasticsearch。知识积累CDC简介CDC的全称是ChangeDataCapture（变更数据捕获技术），在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为CDC。目前通常描述的CDC技术主要面向数据

1.前言在上一篇文章当中说了，如果需要进行双流join操作，可以选择在窗口的范围内进行，join操作会以窗口范围内的所有数据做innerjoin，然后将匹配到的所有数据交给计算函数进行处理，这就是窗口join的执行方式，但是这里也有一个之前没有提到过的概念，那就是“窗口”。窗口在数据计算的过程中很常见，它要做的实际上就是在没有尽头的数据流中切割出一段一段的范围区间，然后对这个区间的数据进行相应的计算工作。接下来，我们就本着这个理念出发，去聊聊Flink中窗口到底是什么。2.时间语义看到这里你可能会有个疑问，为什么我要聊窗口，但是这里却写的是时间语义呢？其实这不难理解，大家想一下，窗口本身就是在

前言Flink可以从各种来源获取数据，然后构建DataStream进行转换处理。一般将数据的输入来源称为数据源(datasource)，而读取数据的算子就是源算子（sourceoperator）。所以，source就是我们整个处理程序的输入端。Flink代码中通用的添加source的方式，是调用执行环境的addSource()方法：DataStreamstream=env.addSource(...);方法传入一个对象参数，需要实现SourceFunction接口；返回DataStreamSource。这里的DataStreamSource类继承自SingleOutputStreamOpera

Transformation数据流转换算子Mapmap可以理解为映射，对每个元素进行一定的变换后，映射为另一个元素。FlatMapflatmap可以理解为将元素摊平，每个元素可以变为0个、1个、或者多个元素。Filterfilter是进行筛选为每个元素评估一个布尔函数，并保留该函数返回true的布尔函数。过滤出零值的过滤器。KeyBy逻辑上将Stream根据指定的Key进行分区，是根据key的散列值进行分区的。在内部，keyBy（）是通过哈希分区实现的。有多种指定密钥的方法。此转换返回一个KeyedStream，除其他事项外，还需要使用keyedstate。在以下情况下，类型不能为键：是POJ

这本书有8个章节，从基础逐渐展开，但是书籍总共也只有236页，还包含了Hadoop、spark和Flink三个知识点。所以感觉讲得可能不太会很深入。这里毕竟是书籍的阅读部分，所以不管实用性强不强，书上说的这里都大概提一下。首先是第一章节：大数据技术概述1.什么是大数据？简单说就是海量、高增长率和多样化的信息资产。2.大数据平台架构是什么？这里讲得是一般企业的大数据平台的一个组成一般都是5层，数据获取、数据储存、资源的调度管理、数据分析、数据服务与可视化数据获取：数据总体上可以分为结构化和非结构化；结构化数据就可以简单理解为行数据，非结构化数据就是视频啊，图片之类的。来源不同，格式不同，那么获取

【Flink实战系列】FlinkCDC实时同步Mysql全量加增量数据到Hudi前言FlinkCDC是基于Flink开发的变化数据获取组件（Changedatacapture），简单的说就是来捕获变更的数据，ApacheHudi是一个数据湖平台，又支持对数据做增删改查操作，所以FlinkCDC可以很好的和Hudi结合起来，打造实时数仓，实时湖仓一体的架构，下面就来演示一下同步的过程。环境组件版本Flink1.15.1Hadoop2.9.0Hudi0.12.0Mysql5.xFlinkCDC2.3.0添加Jar包依赖为了方便演示，这里就直接采用sql-client提交任务的方式，在提交任务之前，

第一章初识Flink大数据开发总体架构大数据开发总体架构数据传输层：常用的数据传输工具有Flume、Sqoop、Kafka。Flume是一个日志收集系统，用于将大量日志数据从不同的源进行收集、聚合，最终移动到一个集中的数据中心进行存储。Sqoop主要用于将数据在关系型数据库和Hadoop平台之间进行相互转移。Kafka是一个发布与订阅消息系统，它可以实时处理大量消息数据以满足各种需求，相当于数据中转站。数据存储层：数据可以存储于分布式文件系统HDFS中，也可以存储于分布式数据库HBase中，而HBase的底层实际上还是将数据存储于HDFS中。此外，为了满足对大量数据的快速检索与统计，可以使用E