作者：禅与计算机程序设计艺术1.简介概述近年来，云计算和大数据领域迎来了蓬勃发展的时代。在云计算和大数据的驱动下，人们对于如何高效、快速地分析海量数据产生了更大的关注。ApacheFlink是一款开源的分布式流处理框架，其SQL接口——FlinkSQL（翻译过来的意思是flink流处理SQL)，通过SQL的方式支持用户对实时数据进行复杂的查询、聚合、join等操作。其广泛的生态系统也吸引着许多业界人士的目光。基于此，滴滴出行数据平台团队基于FlinkSQL实现了一套数据分析平台，用于业务数据接入、特征计算、模型训练、监控告警等功能。通过FlinkSQL的高性能处理能力及易用性，提升了平台的响应
背景本文主要是具体说说Flink中的clean操作的实现杂说闲谈在flink中主要是CleanFunction函数：@Overridepublicvoidopen(Configurationparameters)throwsException{super.open(parameters);this.writeClient=FlinkWriteClients.createWriteClient(conf,getRuntimeContext());this.executor=NonThrownExecutor.builder(LOG).waitForTasksFinish(true).build(
6.1时间语义6.1.1Flink中的时间语义对于一台机器而言，时间就是系统时间。但是Flink是一个分布式处理系统，多台机器“各自为政”，没有统一的时钟，各自有各自的系统时间。而对于并行的子任务来说，在不同的节点，系统时间就会有所差异。我们知道一个集群有JobManager，作为管理者，是不是让它统一向所有TaskManager发送同步时钟信号就行了呢？这也是不行的。因为网络传输会有延迟，而且这延迟是不确定的，所以JobManager发出的同步信号无法同时到达所有节点；想要拥有一个全局统一的时钟，在分布式系统里是做不到的。另一个麻烦的问题是，在流式处理的过程中，数据是在不同的节点间不停流动的
一、状态1.概述算子任务可以分为有状态、无状态两种。无状态：filter,map这种，每次都是独立事件有状态：sum这种，每次处理数据需要额外一个状态值来辅助。这个额外的值就叫“状态”2.状态的分类（1）托管状态（ManagedState）和原始状态（RawState）托管状态就是由Flink统一管理的，状态的存储访问、故障恢复和重组等一系列问题都由Flink实现，我们只要调接口就可以。原始状态则是自定义的，相当于就是开辟了一块内存，需要我们自己管理，实现状态的序列化和故障恢复。（2）算子状态（OperatorState）和按键分区状态（KeyedState）按键分区状态其实就是被keyBy的
一、什么是FLinkApache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。接下来，我们来介绍一下 Flink 架构中的重要方面。处理无界和有界数据任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。数据可以被作为 无界 或者 有界 流来处理。无界流 有定义流的开始，但没有定义流的结束。它们会无休止地产生数据。无界流的数据必须持续处理，即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理，因
背景：我们经常会使用到比如数据库中的配置表信息，而我们不希望每次都去查询db，那么我们就想定时把db配置表的数据定时加载到flink的本地内存中，那么如何实现呢？外部定时器定时加载实现1.在open函数中进行定时器的创建和定时加载，这个方法对于所有的RichFunction富函数都适用,包括RichMap,RichFilter,RichSink等，代码如下所示packagewikiedits.schedule;importorg.apache.flink.api.common.functions.RichFlatMapFunction;importorg.apache.flink.config
前言使用kafka连接器时：1.作为source端时，接受的消息报文的格式并不是kafka支持的格式，这时则需要自定义Decoding格式。2.作为sink端时，期望发送的消息报文格式并非kafka支持的格式，这时则需要自定义Serialization格式分析待补充步骤待补充
分析&回答Flink实现了多种重启策略固定延迟重启策略（FixedDelayRestartStrategy）故障率重启策略（FailureRateRestartStrategy）没有重启策略（NoRestartStrategy）Fallback重启策略（FallbackRestartStrategy）反思&扩展Flink支持不同的重启策略，以在故障发生时控制作业如何重启默认的重启策略：如果没有启用checkpointing，则使用无重启(norestart)策略。如果启用了checkpointing，但没有配置重启策略，则使用固定间隔(fixed-delay)策略如果在工作提交时指定了一个重启
1.时间语义这里先介绍一下什么是时间语义，时间语义在Flink中是一种很重要的概念，下面介绍的水位线就是基于时间语义来讲的。在Flink中我们提到的时间语义一般指的是事件时间和处理时间：处理时间(ProcessingTime)，一般指执行处理操作的系统时间，也就是Flink的窗口算子对该数据的操作时间。事件时间(EventTime)，一般指每个事件在对应设备上发生的时间，也就是数据的生成的时间。Flink中之所以会出现这两种时间语义，是因为Flink的分布式系统会有网络传输延迟以及时钟飘逸，处理时间相对于事件时间会有所滞后，并且数据在网络以及Flink中的传输是是乱序的。Flink的1.12版
“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实践以及架构的演进，这包括以下几个方面实时数仓1.0版本，主题：ETL逻辑实时化，技术方案：SparkStreaming。实时数仓2.0版本，主题：数据分层，指标计算实时化，技术方案：FlinkStreaming。实时数仓未
