文章目录FlinkHA搭建配置一、Flink基于StandaloneHA1、StandaloneHA配置2、启动测试二、Flink基于YarnHA1、YarnHA配置2、启动测试FlinkHA搭建配置默认情况下，每个Flink集群只有一个JobManager，这将导致单点故障（SPOF，singlepointoffailure），如果这个JobManager挂了，则不能提交新的任务，并且运行中的程序也会失败，这是我们可以对JobManager做高可用（HighAvailability，简称HA），JobManagerHA集群当ActiveJobManager节点挂掉后可以切换其他Standby

文章目录FlinkHA搭建配置一、Flink基于StandaloneHA1、StandaloneHA配置2、启动测试二、Flink基于YarnHA1、YarnHA配置2、启动测试FlinkHA搭建配置默认情况下，每个Flink集群只有一个JobManager，这将导致单点故障（SPOF，singlepointoffailure），如果这个JobManager挂了，则不能提交新的任务，并且运行中的程序也会失败，这是我们可以对JobManager做高可用（HighAvailability，简称HA），JobManagerHA集群当ActiveJobManager节点挂掉后可以切换其他Standby

1.keyBy简介主要作用：把相同的数据，汇总到相同的分区中（数据本来是分布在不同的slot中，keyBy会把相同的数据拉到相同的slot中） 2.keyBy的使用在使用keyBy时候，需要向keyBy传递一个参数，告诉其按照哪个字段进行归类。有2种传递参数的方式，1.传递位置的数值示例：importorg.apache.flink.api.scala.createTypeInformationimportorg.apache.flink.streaming.api.scala.StreamExecutionEnvironmentobjectkeyByTest{defmain(args:Arr

1.keyBy简介主要作用：把相同的数据，汇总到相同的分区中（数据本来是分布在不同的slot中，keyBy会把相同的数据拉到相同的slot中） 2.keyBy的使用在使用keyBy时候，需要向keyBy传递一个参数，告诉其按照哪个字段进行归类。有2种传递参数的方式，1.传递位置的数值示例：importorg.apache.flink.api.scala.createTypeInformationimportorg.apache.flink.streaming.api.scala.StreamExecutionEnvironmentobjectkeyByTest{defmain(args:Arr

1.背景经典场景Flink侧实现业务侧通常会基于实时计算引擎在流上做多个数据源的JOIN产出这个宽表，但这种解决方案在实践中面临较多挑战，主要可分为以下两种情况：维表JOIN场景挑战：指标数据与维度数据进行关联，其中维度数据量比较大，指标数据QPS比较高，导致数据可能会产出延迟。当前方案：将部分维度数据缓存起起来，缓解高QPS下访问维度数据存储引擎产生的任务背压问题。存在问题：由于业务方的维度数据和指标数据时间差比较大，所以指标数据流无法设置合理的TTL；而且存在Cache中维度数据没有及时更新，导致下游数据不准确的问题。多流JOIN场景挑战：多个指标数据进行关联，不同指标数据可能会出现时间差

1.背景经典场景Flink侧实现业务侧通常会基于实时计算引擎在流上做多个数据源的JOIN产出这个宽表，但这种解决方案在实践中面临较多挑战，主要可分为以下两种情况：维表JOIN场景挑战：指标数据与维度数据进行关联，其中维度数据量比较大，指标数据QPS比较高，导致数据可能会产出延迟。当前方案：将部分维度数据缓存起起来，缓解高QPS下访问维度数据存储引擎产生的任务背压问题。存在问题：由于业务方的维度数据和指标数据时间差比较大，所以指标数据流无法设置合理的TTL；而且存在Cache中维度数据没有及时更新，导致下游数据不准确的问题。多流JOIN场景挑战：多个指标数据进行关联，不同指标数据可能会出现时间差

目录0.相关文章链接1. 流读（StreamingQuery）2. 增量读取（IncrementalQuery）3. 限流0.相关文章链接 Hudi文章汇总 1. 流读（StreamingQuery）        当前表默认是快照读取，即读取最新的全量快照数据并一次性返回。通过参数read.streaming.enabled参数开启流读模式，通过read.start-commit参数指定起始消费位置，支持指定earliest从最早消费。WITH参数：名称Required默认值说明read.streaming.enabledfalsefalse设置true开启流读模式read.start-co

Hadoop集群高可用部署下载hadoop包地址https://dlcdn.apache.org/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz上传并解压到3台服务器配置3台主机的hosts和免密登录1.修改.bash_profilevi.bash_profile#HADOOP_HOMEexportHADOOP_HOME=/apps/svr/hadoop-3.2.4exportPATH=$PATH:$HADOOP_HOME/binexportPATH=$PATH:$HADOOP_HOME/sbinsource.bash_profilehadoopv

关于Flink，TaskManager日志问题的一个记录疑问：不知道大家有和我一样，开发完的flink代码推送到flink集群上执行的时候log.info(xxxx)打印的日志不会打印到task-manager节点上去(在IDEA上执行可以打印日志到控制台上)，为此一直在困扰了，经过一系列的尝试，终于在java和scala中实现log.info(xxx)打印到task-manager节点上。java代码demo：@Slf4jpublicclassTest{publicstaticvoidmain(String[]args)throwsException{StreamExecutionEnvir

报错信息Causedby:org.apache.flink.runtime.JobException:RecoveryissuppressedbyNoRestartBackoffTimeStrategy atorg.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(ExecutionFailureHandler.java:138) atorg.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFai