Two-StreamConvolutionalNetworksforActionRecognitioninVideos双流网络论文精读论文：Two-StreamConvolutionalNetworksforActionRecognitioninVideos链接：https://arxiv.org/abs/1406.2199本文是深度学习应用在视频分类领域的开山之作，双流网络的意思就是使用了两个卷积神经网络，一个是SpatialstreamConvNet，一个是TemporalstreamConvNet。此前的研究者在将卷积神经网络直接应用在视频分类中时，效果并不好。作者认为可能是因为卷积神经

Flink学习笔记前言：今天是学习flink的第13天啦！学习了flink高级特性和新特性之ProcessFunctionAPI和双流join，主要是解决大数据领域数据从数据增量聚合的问题，以及快速变化中的流数据拉宽问题，即变化中多个数据源合并在一起的问题，结合自己实验猜想和代码实践，总结了很多自己的理解和想法，希望和大家多多交流！Tips："分享是快乐的源泉💧，在我的博客里，不仅有知识的海洋🌊，还有满满的正能量加持💪，快来和我一起分享这份快乐吧😊！喜欢我的博客的话，记得点个红心❤️和小关小注哦！您的支持是我创作的动力！"文章目录Flink学习笔记四、Flink高级特性和新特性2.Proces

 一、介绍Join大体分类只有两种：WindowJoin和IntervalJoinWindowJoin有可以根据Window的类型细分出3种：Tumbling(滚动)WindowJoin、Sliding(滑动)WindowJoin、Session(会话)WidnowJoin。        🌸Window类型的join都是利用window的机制，先将数据缓存在WindowState中，当窗口触发计算时，执行join操作。        🌸Intervaljoin也是利用state存储数据再处理，区别在于state中的数据有失效机制，依靠数据触发数据清理，目前Streamjoin的结果是数据的卡

双流连结（Join）：根据某个字段的值将数据联结起来，“配对”去做处理窗口联结（WindowJoin）可以定义时间窗口，并将两条流中共享一个公共键（key）的数据放在窗口中进行配对处理代码逻辑首先需要调用DataStream的.join()方法来合并两条流，得到一个JoinedStreams；接着通过.where()和.equalTo()方法指定两条流中联结的key；然后通过.window()开窗口，并调用.apply()传入联结窗口函数进行处理计算stream1.join(stream2).where().equalTo().window().apply()对于JoinFunction：pu

Flink中的双流ioin操作（双流连接）通常涉及大状态的处理，这可能导致一些性能和状态管理的挑战。以下是解决和调优Flink中双流ioin大状态的一些建议：解决方案：增大任务管理器的堆内存：对于处理大状态的任务，增加Flink任务管理器的堆内存可以提供更多的内存空间来存储状态，减缓状态溢出的可能性。使用RocksDB状态后端：将Flink配置为使用RocksDB作为状态后端，RocksDB可以更有效地处理大状态，并提供本地磁盘上的状态后端，减轻内存的压力。javaCopycodeStreamExecutionEnvironmentenv=StreamExecutionEnvironment.

统计固定时间内两条流数据的匹配情况，需要自定义来实现——可以用窗口（window）来表示。为了更方便地实现基于时间的合流操作，Flink的DataStremaAPI提供了内置的join算子。窗口联结（WindowJoin）一段时间的双流合并定义时间窗口，并将两条流中共享一个公共键（key）的数据放在窗口中进行配对处理。stream1.join(stream2).where(KeySelector>)//stream1的keyBy.equalTo(KeySelector>)//stream2的keyBy.window(WindowAssigner>).apply(JoinFunction>)pu

分析&回答Flink双流JOIN主要分为两大类一类是基于原生State的Connect算子操作另一类是基于窗口的JOIN操作。其中基于窗口的JOIN可细分为windowjoin和intervaljoin两种。基于原生State的Connect算子操作实现原理：底层原理依赖Flink的State状态存储，通过将数据存储到State中进行关联join,最终输出结果。基于窗口的JOIN操作基于WindowJoin的双流JOIN实现机制顾名思义，此类方式利用Flink的窗口机制实现双流join。通俗理解，将两条实时流中元素分配到同一个时间窗口中完成Join。底层原理:两条实时流数据缓存在WindowS

大家都知道flinksql中leftjoin数据不会互相等待，存在retract问题，会导致写入kafka的数据量变大，就会导致出现数据重复的问题。举例：即常见的曝光日志流（show_log）通过log_id关联点击日志流（click_log），将数据的关联结果进行下发。 执行sqlINSERTINTOsink_tableSELECTshow_log.log_idaslog_id,show_log.timestampastimestamp,show_log.show_paramsasshow_params,click_log.click_paramsasclick_paramsFROMshow

一、大数据双流建设1.1数据双流大数据时代，越来越多的业务依赖实时数据用于决策，比如促销调整，点击率预估、广告分佣等。为了保障业务的顺利开展，也为了保证整体大数据链路的高可用性，越来越多的0级系统建设双流，以保证日常及大促期间数据流的稳定性。建设核心数据链路双机房，双流双活。同时双流建设需要整条链路上的所有环节双机房部署，占用了双倍的物理资源；整个建设过程要协同上下游各环节（数据生产方、数仓加工方、中间处理节点、业务消费方），也会消耗大量的沟通建设成本。为了达到资源消耗和业务稳定性的平衡，特制定双流建设标准和实施流程以引导业务方合理评估双流需求，顺利开展双流建设实施。1.2数据双流的建设评估维