目录​编辑前言1、安装flink环境2、在idea中创建flink的第一个demo2.1、执行如下maven命令2.2、填写'groupId'、'artifactId'、'version'、'package'2.3、选择Yes即可生成创建好的工程3、开发第一个flink程序3.1、开发一个简单的统计程序3.2、直接编译得到jar包4、启动环境4.1、启动已经下载好的flink环境4.2、创建一个服务端的Tcp监听4.3、打开计算日志4.4、在建立nc监听端口中输入text4.5、在输出日志中就有统计前言     Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集

由于第一次做实时，所以踩坑比较多，见谅(测试环境用的flink),小公司没有用到hadoop组件一、踩坑记录1:本地代码的flink版本是flink1.15.4，生产环境是flink1.16.1，在使用侧输出流时报错，需要使用以下写法,需要使用SideOutputDataStream不能用DataStream，同时将pom下的flink版本切换为1.16.1SideOutputDataStreamtblHotelGuestSnapStreamDS=processedDS.getSideOutput(tblHotelGuestSnaptag);2: Oceanus环境运行flink时候会默认使用

flink高级版本后，消费kafka数据一种是Datastream一种之tableApi。上官网 Kafka|ApacheFlinkKafkaSource引入依赖flink和kafka的连接器，里面内置了kafka-clientorg.apache.flinkflink-connector-kafka1.16.2使用方法KafkaSourcesource=KafkaSource.builder().setBootstrapServers(brokers).setTopics("input-topic").setGroupId("my-group").setStartingOffsets(Off

作者：禅与计算机程序设计艺术1.简介2020年是ApacheFlink诞生的一年，Flink被国内多个大公司和金融机构采用。截至目前，ApacheFlink已覆盖了五个主要的云服务平台，并于2021年7月发布1.12版，面向生产环境的稳定运行速度得到了保证。它是一个开源的分布式流处理框架，具有高容错性、可靠性、低延迟等特征，能够支持实时计算场景下的超大数据量、高吞吐量的数据处理需求。本文将从以下几个方面对比分析ApacheFlink和其它主流的大数据引擎（如HadoopMapReduce/Spark）：技术选型标准：无论是开源还是商用版本，ApacheFlink都已经成为多家大厂领跑者之一。此

第二章是搭建IDEA开发环境和Linux虚拟机这章的内容较少，但需要花费的时间较长，毕竟都是实操部分首先是搭建IDEA开发环境每一个IT开发人员都得有一个合适的开发工具，IDEA是大数据开发的首选，在Windows上安装IDEA，然后构建Maven项目。最首先的还是安装JDK，因为大数据开发的很多地方都是得需要用到Java的。具体的安装和环境配置这里不再说明。Maven的安装与配置这是专门用于构建和管理Java相关项目的工具。使用它有两点好处，1是Maven管理的Java项目都有着相同的项目结构；二是便于统一维护jar包IDEA的安装与配置全称IntellijIDEA，是进行Java编程的集成

1.Transformationmapimportorg.apache.flink.api.common.functions.MapFunction;importorg.apache.flink.streaming.api.datastream.DataStreamSource;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment;publicclassmapTransformation{publicstaticvoidmain(String[]args)throwsException{Strea

一、Flink运行时组件Flink的运行时架构中，最重要的就是两大组件：作业管理器（JobManger）和任务管理器（TaskManager）。对于一个提交执行的作业，JobManager是真正意义上的“管理者”（Master），负责管理调度，所以在不考虑高可用的情况下只能有一个；而TaskManager是“工作者”（Worker、Slave），负责执行任务处理数据，所以可以有一个或多个。Flink的作业提交和任务处理系统其实客户端并不是处理系统的一部分，它只负责作业的提交。具体来说，就是调用程序的main方法，将代码转换成“数据流图”（DataflowGraph），并最终生成作业图（JobG

前言flink处理数据流时，经常会遇到这样的情况：处理一个数据源时，往往需要将该源中的不同类型的数据做分割（分流）处理，假如使用filter算子对数据源进行筛选分割的话，势必会造成数据流的多次复制，造成不必要的性能浪费；flink中的侧输出，就是将数据流进行分割，而不对流进行复制的一种分流机制。flink的侧输出的另一个作用就是对延时迟到的数据进行处理，这样就可以不必丢弃迟到的数据；简单理解就是，根据业务上的一定规则，将一个源中的数据拆分成不同的流，即主流和侧输出流。侧输出流(sideoutput)大部分的DataStreamAPI的算子的输出是单一输出，也就是某种数据类型的流。除了split

目录StreamExecutionEnvironmentWatermarkwatermark策略简介使用Watermark策略内置水印生成器处理空闲数据源算子处理Watermark的方式创建DataStream的方式通过list对象创建​​​​​​使用DataStreamconnectors创建使用Table&SQLconnectors创建StreamExecutionEnvironment编写一个FlinkPythonDataStreamAPI程序，首先需要声明一个执行环境StreamExecutionEnvironment，这是流式程序执行的上下文。你将通过它来设置作业的属性（例如默认并发

背景突然间钉钉群出现告警，发现Flink集群中跑的所有Job进入Restarting。业务中断，影响比较大，需要迅速定位恢复。问题处理1、查看flink集群、yarn集群、hdfs集群的运行状态，发现运行正常。2、查看taskmanager日志文件发下异常:2021-12-2909:07:11,465WARN org.apache.flink.runtime.taskmanager.Task          []-Source:CustomSource->Filter(1/1)#35(ba2fe0076320a3ee8f7e7b2f471feab5)switchedfromRUNNINGto