一、FlinkAPI的类型：1.低级api：        提供了对时间和状态的细粒度控制，简洁性和易用性较差，主要应用在对一些复杂事件的处理逻辑上。2.核心api:        要提供了针对流数据和离线数据的处理，对低级API进行了一些封装，提供了filter、sum、max、min等高级函数，简单且易用，所以在工作中应用比较广泛。核心api分成两类（1）DataStreamAPI：用于处理无界数据流，提供了各种操作符来处理流数据。（2）DataSetAPI：用于处理有界数据集，提供了各种操作符来处理批处理数据。3.Tableapi/sql:（1）TableAPI：一般与DataSet或者

ApacheFlink架构介绍一、Flink组件栈在Flink的整个软件架构体系中，同样遵循这分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。

ApacheFlink架构介绍一、Flink组件栈在Flink的整个软件架构体系中，同样遵循这分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。

文章目录Flink任务提交模式一、会话模式（SessionMode）二、单作业模式（Per-JobMode）

文章目录Flink任务提交模式一、会话模式（SessionMode）二、单作业模式（Per-JobMode）

主要回答以下问题：Flink集群是由哪些组件组成的？它们彼此之间如何协调工作的？在Flink中job,task,slots,parallelism是什么意思？集群中的资源是如何调度和分配的？如何搭建一个Flink集群？如何配置高可用服务？如何使用外部文件系统？Flink系统架构Flink的核心组件包含客户端，jobmanager（JM）和taskmanager™三部分。此外Flink往往还需要结合很多外部组件一起使用，比如高可用服务、持久化存储、资源管理、指标存储与分析的组件。Flink客户端主要负责将job提交给JM。JM是中央调度器，包含Jobmaster,Dispatcher,Resou

主要回答以下问题：Flink集群是由哪些组件组成的？它们彼此之间如何协调工作的？在Flink中job,task,slots,parallelism是什么意思？集群中的资源是如何调度和分配的？如何搭建一个Flink集群？如何配置高可用服务？如何使用外部文件系统？Flink系统架构Flink的核心组件包含客户端，jobmanager（JM）和taskmanager™三部分。此外Flink往往还需要结合很多外部组件一起使用，比如高可用服务、持久化存储、资源管理、指标存储与分析的组件。Flink客户端主要负责将job提交给JM。JM是中央调度器，包含Jobmaster,Dispatcher,Resou

文章目录什么是CDCFlinkCDC2.X相较于1.X的变化什么是CDCCDC，ChangeDataCapture变更数据捕获目前CDC有两种实现方式，一种是主动查询、一种是事件接收。主动查询：相关开源产品有Sqoop、KafkaJDBCSource等。用户通常会在数据原表中的某个字段中，保存上次更新的时间戳或版本号等信息，然后下游通过不断的查询和上次的记录做对比，来确定数据是否有变动，是否需要同步变化数据。因为要以一定的间隔不断的查询源数据库，所以随着间隔的减小和扫描数据量的增加对源数据库的压力会随之增加。 优点1：不涉及数据库底层特性，比较通用； 缺点1：如果原表中的字段无法用来区分新旧

文章目录什么是CDCFlinkCDC2.X相较于1.X的变化什么是CDCCDC，ChangeDataCapture变更数据捕获目前CDC有两种实现方式，一种是主动查询、一种是事件接收。主动查询：相关开源产品有Sqoop、KafkaJDBCSource等。用户通常会在数据原表中的某个字段中，保存上次更新的时间戳或版本号等信息，然后下游通过不断的查询和上次的记录做对比，来确定数据是否有变动，是否需要同步变化数据。因为要以一定的间隔不断的查询源数据库，所以随着间隔的减小和扫描数据量的增加对源数据库的压力会随之增加。 优点1：不涉及数据库底层特性，比较通用； 缺点1：如果原表中的字段无法用来区分新旧

集群基础环境搭建Flink可以运行在所有类unix环境中，例如：Linux，MacOS和Windows，一般企业中使用Flink基于的都是Linux环境，后期我们进行Flink搭建和其他框架整合也是基于linux环境，使用的是Centos7.6版本，JDK使用JDK8版本(Hive版本不支持JDK11,所以这里选择JDK8)，本小节主要针对Flink集群使用到的基础环境进行配置，不再从零搭建Centos系统，另外对后续整合使用到的技术框架也一并进行搭建，如果你目前已经有对应的基础环境，可以忽略本小节，Linux及各个搭建组件使用版本如