前言最近看文章说如何把Postgresql的数据同步给别的数据源，可以利用它的WAL，具体怎么操作没有说，我自己找到一篇文章https://www.cnblogs.com/xiongmozhou/p/14817641.html可以利用FlinkCDC。我自己正好前段时间也看过Flink，把这个知识串起来也很有意义，于是开始动手试了一下，期间也遇到些困难，也尝试解决了，有些原理不是很清晰，记录下来，后面看能不能解决。Postgresql配置我们使用上篇文章搭建的Postgresql数据库，要让Postgresql支持同步给其它数据源，一个最关键的配置是更改wal日志方式为logical，这个配置
1、设置空闲状态保留时间，FlinkSQL可以指定空闲状态(即未更新的状态)被保留的最小时间，当状态中某个key对应的状态未更新的时间达到阈值时，该条状态被自动清理：#参数指定configuration.setString("table.exec.state.ttl","1h"); 2、开启MiniBatchMiniBatchAggregation，思路是内存缓存batch数据再进行聚合，减少状态访问次数，从而提升吞吐并减少数据的输出量。MiniBatch主要依靠在每个Task上注册的Timer线程来触发微批，需要消耗一定的线程调度性能。MiniBatch默认关闭，开启方如下://设置参数，开
1、设置空闲状态保留时间，FlinkSQL可以指定空闲状态(即未更新的状态)被保留的最小时间，当状态中某个key对应的状态未更新的时间达到阈值时，该条状态被自动清理：#参数指定configuration.setString("table.exec.state.ttl","1h"); 2、开启MiniBatchMiniBatchAggregation，思路是内存缓存batch数据再进行聚合，减少状态访问次数，从而提升吞吐并减少数据的输出量。MiniBatch主要依靠在每个Task上注册的Timer线程来触发微批，需要消耗一定的线程调度性能。MiniBatch默认关闭，开启方如下://设置参数，开
Per-jobCluster该模式下，一个作业一个集群，作业之间相互隔离。在Per-Job模式下，集群管理器框架用于为每个提交的Job启动一个Flink集群。Job完成后，集群将关闭，所有残留的资源也将被清除。此模式可以更好地隔离资源，因为行为异常的Job不会影响任何其他Job。另外，由于每个应用程序都有其自己的JobManager，因此它将记录的负载分散到多个实体中。场景：Per-Job模式适合长期运行的Job，这些Job可以接受启动延迟的增加以支持弹性。资源管理器支持：YarnApplication与per-job模式相比，在Application模式下，main()方法在集群上而不是在客
Per-jobCluster该模式下，一个作业一个集群，作业之间相互隔离。在Per-Job模式下，集群管理器框架用于为每个提交的Job启动一个Flink集群。Job完成后，集群将关闭，所有残留的资源也将被清除。此模式可以更好地隔离资源，因为行为异常的Job不会影响任何其他Job。另外，由于每个应用程序都有其自己的JobManager，因此它将记录的负载分散到多个实体中。场景：Per-Job模式适合长期运行的Job，这些Job可以接受启动延迟的增加以支持弹性。资源管理器支持：YarnApplication与per-job模式相比，在Application模式下，main()方法在集群上而不是在客
基于Flink构建风控系统阿里风控实战大规模风控技术难点目前Flink基本服务于集团的所有BU，在双十一峰值的计算能力达到40亿条每秒，计算任务达到了3万多个，总共使用100万+Core；几乎涵盖了集团内的所有具体业务，比如：数据中台、AI中台、风控中台、实时运维、搜索推荐等。01基于Flink构建风控系统风控是一个很大的话题，涉及到规则引擎、NoSQLDB、CEP等等，本章主要讲一些风控的基本概念。在大数据侧，我们把风控划分成3×2的关系：2代表风控要么是基于规则的，要么是基于算法或模型的；3代表包括三种风控类型：事先风控、事中风控和事后风控。1.1三种风控业务对于事中风控和事后风控来讲，端
基于Flink构建风控系统阿里风控实战大规模风控技术难点目前Flink基本服务于集团的所有BU，在双十一峰值的计算能力达到40亿条每秒，计算任务达到了3万多个，总共使用100万+Core；几乎涵盖了集团内的所有具体业务，比如：数据中台、AI中台、风控中台、实时运维、搜索推荐等。01基于Flink构建风控系统风控是一个很大的话题，涉及到规则引擎、NoSQLDB、CEP等等，本章主要讲一些风控的基本概念。在大数据侧，我们把风控划分成3×2的关系：2代表风控要么是基于规则的，要么是基于算法或模型的；3代表包括三种风控类型：事先风控、事中风控和事后风控。1.1三种风控业务对于事中风控和事后风控来讲，端
摘要：本文整理自快手实时计算团队技术专家刘建刚在FlinkForwardAsia2021生产实践专场的演讲。主要内容包括：快手Flink的历史及现状Flink容错能力提升Flink引擎控制与实践快手批处理实践未来规划01快手Flink的历史与现状快手从2018年开始对Flink进行深度整合，经过4年发展，实时计算平台逐渐完善并赋能周边各种组件。2018年我们针对Flink1.4进行了平台化建设并大幅提升运维管理能力，达到了生产可用。2019年我们开始基于1.6版本进行迭代开发，很多业务都开始实时化，比如优化intervaljoin为商业化等平台带来显著收益、开发实时多维分析加速超大多维报表的
摘要：本文整理自快手实时计算团队技术专家刘建刚在FlinkForwardAsia2021生产实践专场的演讲。主要内容包括：快手Flink的历史及现状Flink容错能力提升Flink引擎控制与实践快手批处理实践未来规划01快手Flink的历史与现状快手从2018年开始对Flink进行深度整合，经过4年发展，实时计算平台逐渐完善并赋能周边各种组件。2018年我们针对Flink1.4进行了平台化建设并大幅提升运维管理能力，达到了生产可用。2019年我们开始基于1.6版本进行迭代开发，很多业务都开始实时化，比如优化intervaljoin为商业化等平台带来显著收益、开发实时多维分析加速超大多维报表的
1背景在日常Flink使用过程中，我们经常遇到Flink任务中某些Slot或者TM负载过重的问题，对日常的资源调配、运维以及降本都带来了很大的影响，所以我们对Flink的task部署机制进行了梳理和调研，准备在后续的工作中进行优化。由于jobGraph的生成以及任务提交流程因任务部署方式而不同，对我们后续的分析也没有影响，这里忽略前置流程，直接从Dispatcher出发，重点关注submit后executionGraph构建以及后续的任务部署过程。2FlinkSchedulingComponents构成2.1 SchedulerNG在Dispatcher收到submit请求后，先是启动了J
