背景我们想将集群的机器打上标签，将不同的业务跑在不同的机器上，以应对不同级别客户的业务需求。         root      /        \  default      perjobYarn调度方式我们hadoop版本使用的是3.1.4。yarn的调度方式有三总：FIFOScheduler、CapacityScheduler、FairScheduler。一般常用的是后两种。之前没有使用标签的功能所以一直使用的FairScheduler，这个调度器比较简单。如果想用标签的话，只能使用CapacityScheduler调度器。配置yarn-site.xml yarn.resourcema

概述无论是基本的简单转换和聚合，还是基于窗口的计算，都是针对一条流上的数据进行处理的。而在实际应用中，可能需要将不同来源的数据连接合并在一起处理，也有可能需要将一条流拆分开，所以经常会有对多条流进行处理的场景。简单划分的话，多流转换可以分为“分流”和“合流”两大类。目前分流的操作一般是通过侧输出流（sideoutput）来实现，而合流的算子比较丰富，根据不同的需求可以调用union、connect、join以及coGroup等接口进行连接合并操作。一、分流所谓“分流”，就是将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个DataStream，得到完全平等的多个子DataStream

一、FlinkCEP介绍FlinkCEP是复杂事件处理（ComplexEventProcessing）的缩写。它是基于Flink实现的复杂事件处理库。它的核心功能是识别输入数据流中符合特定模式，即Pattern的事件序列，并允许用户针对这些序列进行针对性处理。1、什么是FlinkCEP这里是一个简单的例子，可以让大家对FlinkCEP做了什么事情有一个基础了解。模式首先，假设我们对模式ABBC感兴趣。它代表的实际含义可能是A类事件发生后，连续发生了两次B类事件，最后发生了一次C类事件。我们不要求这些事件是严格连续的，中间可以插入一些无关事件。 事件流我们针对这种模式使用FlinkCEP的API

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置16、Flink的tableapi与sql之连接外部系统:读写外部系统的连接器和格式以及FileSystem示例（1）16、Flink的ta

1.讲⼀下Flink的运⾏架构当Flink集群启动后，⾸先会启动⼀个JobManger和⼀个或多个的TaskManager。由Client提交任务给1、JobManager，JobManager再调度任务到各个TaskManager去执⾏，然后TaskManager将⼼跳和统计信息汇报给JobManager。TaskManager之间以流的形式进⾏数据的传输。上述三者均为独⽴的JVM进程。1.1、Client为提交Job的客户端，可以是运⾏在任何机器上（与JobManager环境连通即可）。提交Job后，Client可以结束进程（Streaming的任务），也可以不结束并等待结果返回。1.2、

背景在处理窗口函数时，ProcessWindowFunction处理函数可以定义三个状态：富函数getRuntimeContext.getState,每个key+每个窗口的状态context.windowState(),每个key的状态context.globalState，那么这几个状态之间有什么关系呢？ProcessWindowFunction处理函数三种状态之间的关系：1.getRuntimeContext.getState这个定义的状态是每个key维度的，也就是可以跨时间窗口并维持状态的2.context.windowState()这个定义的状态是和每个key以及窗口相关的，也就是虽然

作者：禅与计算机程序设计艺术1.简介数据流是一个连续不断的、产生、存储和处理数据的过程。传统上，数据流编程都是基于特定平台（比如：消息队列，数据仓库，事件溯源）的SDK或者API进行开发，但随着云计算和容器技术的发展，越来越多的企业选择使用开源工具实现自己的大数据处理系统。其中ApacheFlink和ApacheKafka这两个开源项目提供了丰富的数据处理能力。本文将从Flink和Kafka的基本用法出发，通过一个案例来介绍如何利用这两个框架构建一个实时的数据流管道。阅读本文后，读者应该能够理解并掌握以下知识点：Flink与Kafka的特点及区别数据流编程模型：时间复杂度分析和异步计算用Fli

作者：禅与计算机程序设计艺术在企业级生产环境中，由于各种各样的原因，通常会要求对一些组件的参数进行定制化设置，或者需要加载外部配置文件来控制一些组件的行为。目前，ApacheFlink提供了基于配置文件的动态参数配置方式，能够灵活地调整组件运行时的参数。除了参数配置外，Flink还支持通过JavaAPI的形式加载外部模型，例如TensorFlow、PyTorch和Scikit-learn模型。然而，这些模型并不像普通参数一样可以直接在配置文件中进行配置，因此需要额外的代码逻辑才能完成配置。本文将介绍如何通过JavaAPI来加载外部模型，以及Flink中参数配置的详细流程。2.基本概念术语说明A

FlinkCDC系列之：OracleCDCConnector一、依赖关系二、SQL客户端JAR三、设置Oracle1.对于非CDB数据库2.对于CDB数据库四、创建OracleCDCtable五、连接器选项六、局限性七、可用元数据八、特征1.Exactly-Once处理2.启动阅读位置3.单线程读取4.数据流源九、数据类型映射十、OracleCDC导入Elasticsearch案例OracleCDC连接器允许从Oracle数据库读取快照数据和增量数据。本文档介绍如何设置OracleCDC连接器以针对Oracle数据库运行SQL查询。一、依赖关系为了设

        为确保能够全面、实时地监控Flink集群的运行状态和性能指标。以下是监控方案的主要组成部分：Flink集群概览：通过访问Flink的JobManager页面，您可以获取集群的总体信息，包括TaskManager的数量、任务槽位数量、运行中的作业以及已完成的作业。这可以帮助您了解集群的整体规模和运行状态。作业监控：在Flink的JobManager页面上，您可以查看每个作业的运行统计信息，包括任务和子任务的运行时间、交换的字节和记录等。通过分析这些信息，您可以了解作业的运行状况，并及时发现潜在问题。TaskManager监控：TaskManager是Flink集群中的工作节点，负