草庐IT

流批一体开源项目ChunJun技术公开课——ChunJun同步Hive事务表

一键直达直播间一、直播介绍上两期渡劫同学为大家分享了ChunJun数据还原的DDL模块,想必大家对这一模块有了比较深入的了解,本期无倦同学将会为大家分享ChunJun同步Hive事务表的相关内容,直播将从Hive事务表的结构及原理、ChunJun读写Hive事务表实战、源码解析及ChunJun文件系统未来规划这几个方面入手来为大家分享,欢迎大家积极参与。二、直播主题ChunJun同步Hive事务表三、直播时间时间:2022年7月5日晚19:00--20:00(周二)四、直播地点钉钉技术交流qun(30537511)&B站袋鼠云直播间(22920407)https://live.bilibili

流批一体开源项目ChunJun技术公开课——ChunJun同步Hive事务表

一键直达直播间一、直播介绍上两期渡劫同学为大家分享了ChunJun数据还原的DDL模块,想必大家对这一模块有了比较深入的了解,本期无倦同学将会为大家分享ChunJun同步Hive事务表的相关内容,直播将从Hive事务表的结构及原理、ChunJun读写Hive事务表实战、源码解析及ChunJun文件系统未来规划这几个方面入手来为大家分享,欢迎大家积极参与。二、直播主题ChunJun同步Hive事务表三、直播时间时间:2022年7月5日晚19:00--20:00(周二)四、直播地点钉钉技术交流qun(30537511)&B站袋鼠云直播间(22920407)https://live.bilibili

Flink-使用流批一体API统计单词数量

TheDataStreamAPIgetsitsnamefromthespecial DataStream classthatisusedtorepresentacollectionofdatainaFlinkprogram.Youcanthinkofthemasimmutablecollectionsofdatathatcancontainduplicates.Thisdatacaneitherbefiniteorunbounded,theAPIthatyouusetoworkonthemisthesame.执行模式(流/批)DataStreamAPI支持不同的运行时执行模式,你可以根据你的用

Flink-使用流批一体API统计单词数量

TheDataStreamAPIgetsitsnamefromthespecial DataStream classthatisusedtorepresentacollectionofdatainaFlinkprogram.Youcanthinkofthemasimmutablecollectionsofdatathatcancontainduplicates.Thisdatacaneitherbefiniteorunbounded,theAPIthatyouusetoworkonthemisthesame.执行模式(流/批)DataStreamAPI支持不同的运行时执行模式,你可以根据你的用

流批一体随想

前言好久不见(鞠躬今年以来的主要工作方向之一就是部门内流批一体能力的建设与落地。虽然这个概念早已成为老生常谈,并且笔者现在还没什么fancy的成果(惭愧),但今天还是想随便写几句来聊聊。Why?考虑经典的LambdaArchitecture。这种架构的出现是历史必然,因为那时的流计算引擎以Storm为代表,而它们都无法提供Exactly-Once语义,所以任何一点小的扰动(延迟、网络问题、系统异常、etc.)就很可能导致实时数据失真。而以HiveonMapReduce为代表的批计算引擎和数据仓库组件早已成熟,因此能够提供准确的离线数据,并且还能为实时数据做出修正。LambdaArchitect

流批一体随想

前言好久不见(鞠躬今年以来的主要工作方向之一就是部门内流批一体能力的建设与落地。虽然这个概念早已成为老生常谈,并且笔者现在还没什么fancy的成果(惭愧),但今天还是想随便写几句来聊聊。Why?考虑经典的LambdaArchitecture。这种架构的出现是历史必然,因为那时的流计算引擎以Storm为代表,而它们都无法提供Exactly-Once语义,所以任何一点小的扰动(延迟、网络问题、系统异常、etc.)就很可能导致实时数据失真。而以HiveonMapReduce为代表的批计算引擎和数据仓库组件早已成熟,因此能够提供准确的离线数据,并且还能为实时数据做出修正。LambdaArchitect