背景：我们经常会使用到比如数据库中的配置表信息，而我们不希望每次都去查询db，那么我们就想定时把db配置表的数据定时加载到flink的本地内存中，那么如何实现呢？外部定时器定时加载实现1.在open函数中进行定时器的创建和定时加载，这个方法对于所有的RichFunction富函数都适用,包括RichMap,RichFilter,RichSink等，代码如下所示packagewikiedits.schedule;importorg.apache.flink.api.common.functions.RichFlatMapFunction;importorg.apache.flink.config

前言使用kafka连接器时：1.作为source端时，接受的消息报文的格式并不是kafka支持的格式，这时则需要自定义Decoding格式。2.作为sink端时，期望发送的消息报文格式并非kafka支持的格式，这时则需要自定义Serialization格式分析待补充步骤待补充

分析&回答Flink实现了多种重启策略固定延迟重启策略（FixedDelayRestartStrategy）故障率重启策略（FailureRateRestartStrategy）没有重启策略（NoRestartStrategy）Fallback重启策略（FallbackRestartStrategy）反思&扩展Flink支持不同的重启策略，以在故障发生时控制作业如何重启默认的重启策略：如果没有启用checkpointing，则使用无重启(norestart)策略。如果启用了checkpointing，但没有配置重启策略，则使用固定间隔(fixed-delay)策略如果在工作提交时指定了一个重启

1.时间语义这里先介绍一下什么是时间语义，时间语义在Flink中是一种很重要的概念，下面介绍的水位线就是基于时间语义来讲的。在Flink中我们提到的时间语义一般指的是事件时间和处理时间：处理时间(ProcessingTime)，一般指执行处理操作的系统时间，也就是Flink的窗口算子对该数据的操作时间。事件时间(EventTime)，一般指每个事件在对应设备上发生的时间，也就是数据的生成的时间。Flink中之所以会出现这两种时间语义，是因为Flink的分布式系统会有网络传输延迟以及时钟飘逸，处理时间相对于事件时间会有所滞后，并且数据在网络以及Flink中的传输是是乱序的。Flink的1.12版

“数据智能”(DataIntelligence)有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。本文主要讲述知乎的实时数仓实践以及架构的演进，这包括以下几个方面实时数仓1.0版本，主题：ETL逻辑实时化，技术方案：SparkStreaming。实时数仓2.0版本，主题：数据分层，指标计算实时化，技术方案：FlinkStreaming。实时数仓未

Flinkonk8s部署日志详解及与Yarn部署时的日志生成模式对比最近需要将flink由原先部署到Yarn集群切换到kubernetes集群，在切换之后需要熟悉flinkonk8s的运行模式。在使用过程中针对日志模块发现，在k8s的容器中，flink的系统日志只有jobmanager.log/taskmanager.log两个，而当时在使用Yarn集群部署时，flink的日志会有多个，比如:jobmanager.log、jobmanager.err和jobmanager.out，TaskManager同理。因此，有同事就提出为什么在k8s中部署时，只有.log一个文件，能不能类似Yarn部署

我正在为使用MySQL作为数据存储的应用程序构建分析功能。我们有一个基于微服务的架构，也使用Kafka。我们的用例还没有真正需要“实时”分析，但可以在以后添加。对于我的用例，我想将Tableau用作可视化平台，报告将直接嵌入到Web应用程序中。对于容量和用例，我认为不需要基于Hadoop的系统，但KafkaConnect、Spark和Flink是可能的。我打算构建一个基于星型模式的报告数据库，与主要生产数据库分开，由维度和事实表组成，并允许Tableau对此进行报告。我的微服务将使用Avro模式注册表将事件推送到相关主题，然后报告微服务将使用这些事件并更新星型模式。现在回答我的问题:将

                      星光下的赶路人star的个人主页                      这世上唯一扛得住岁月摧残的就是才华文章目录1、状态管理1.1Flink中的状态1.1.1概述1.1.2状态的分类1.2按键分区状态（KeyedState）1.2.1值状态（ValueState）1.2.2列表状态（ListState）1.2.3Map状态（MapState）1.2.4归约状态（ReducingState）1.2.5聚合状态（AggregatingState）1.2.6状态生存时间（TTL）1.3算子状态（OperatorState）1.3.1列表状态（List

分析&回答什么是数据倾斜？由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点。举例：一个Flink作业包含200个Task节点，其中有199个节点可以在很短的时间内完成计算。但是有一个节点执行时间远超其他结果，并且随着数据量的持续增加，导致该计算节点挂掉，从而整个任务失败重启。我们可以在Flink的管理界面中看到任务的某一个Task数据量远超其他节点。大数据框架的特性不怕数据大，怕数据倾斜。jobs数比较多的作业运行效率相对比较低，如子查询比较多。sum,count,max,min等聚集函数，不会有数据倾斜问题容易数据倾斜情况groupbycount(distinct),在数据量大的情

ApacheFlink是一种高性能、高吞吐量的流处理框架，它具有强大的容错机制，可以保证在程序宕机后不会丢失数据。Flink通过将数据流分为一个个的小数据块（界线），在每个小数据块上进行计算，并将结果存储在内存中。当程序发生宕机时，Flink会根据数据块的大小和状态，自动将数据回溯到上一个已经成功处理完的数据块，并重新开始处理。同时，Flink还提供了检查点（Checkpoint）机制，可以在程序运行过程中对数据进行备份和恢复。通过将数据状态存储在持久化存储中，当程序发生故障时，可以从最后一个检查点开始重新处理数据流，保证数据的完整性和一致性。因此，使用Flink编写程序时，需要开启容错机制和