草庐IT

三位一体

全部标签

流批一体开源项目ChunJun技术公开课——ChunJun同步Hive事务表

一键直达直播间一、直播介绍上两期渡劫同学为大家分享了ChunJun数据还原的DDL模块,想必大家对这一模块有了比较深入的了解,本期无倦同学将会为大家分享ChunJun同步Hive事务表的相关内容,直播将从Hive事务表的结构及原理、ChunJun读写Hive事务表实战、源码解析及ChunJun文件系统未来规划这几个方面入手来为大家分享,欢迎大家积极参与。二、直播主题ChunJun同步Hive事务表三、直播时间时间:2022年7月5日晚19:00--20:00(周二)四、直播地点钉钉技术交流qun(30537511)&B站袋鼠云直播间(22920407)https://live.bilibili

基于开源流批一体数据同步引擎ChunJun数据还原—DDL解析模块的实战分享

原文链接:基于开源流批一体数据同步引擎ChunJun数据还原—DDL解析模块的实战分享课件获取:关注公众号**“数栈研习社”,后台私信“ChunJun”**获得直播课件视频回放:点击这里ChunJun开源项目地址:github丨gitee喜欢我们的项目给我们点个STAR!STAR!!STAR!!!(重要的事情说三遍)一、ChunJun-DDL解析模块介绍上一期我们为大家介绍了《ChunJun支持异构数据源DDL转换与自动执行》,其中对Calcite解析DDL实战的内容做了简要介绍,本期我们将针对这一部分内容做详细分享。在进行DDL实战演示前,我们先回顾一下数据还原及DDL解析模块的内容。1、数

基于开源流批一体数据同步引擎ChunJun数据还原—DDL解析模块的实战分享

原文链接:基于开源流批一体数据同步引擎ChunJun数据还原—DDL解析模块的实战分享课件获取:关注公众号**“数栈研习社”,后台私信“ChunJun”**获得直播课件视频回放:点击这里ChunJun开源项目地址:github丨gitee喜欢我们的项目给我们点个STAR!STAR!!STAR!!!(重要的事情说三遍)一、ChunJun-DDL解析模块介绍上一期我们为大家介绍了《ChunJun支持异构数据源DDL转换与自动执行》,其中对Calcite解析DDL实战的内容做了简要介绍,本期我们将针对这一部分内容做详细分享。在进行DDL实战演示前,我们先回顾一下数据还原及DDL解析模块的内容。1、数

ChunJun&OceanBase联合方案首次发布:构建一体化数据集成方案

8月27日,ChunJun社区与OceanBase社区联合组织的开源线下Meetup成功举办,会上重磅发布了「OceanBase&ChunJun:构建一体化数据集成方案」。这是OceanBase&ChunJun联合解决方案的首次发布,将针对分库分表的实时数据集成、跨集群/租户的数据集成、不同数据源的实时数据集成、日志类型数据的全增量一体化处理等诸多场景,提供高可靠数据集成解决方案。下面为大家带来具体介绍,欢迎分享给更多的开发者和爱好者共同学习、探讨。课件获取:关注公众号“ChunJun”,后台私信“Meetup”获得分享课件视频回看:https://www.bilibili.com/video

ChunJun&OceanBase联合方案首次发布:构建一体化数据集成方案

8月27日,ChunJun社区与OceanBase社区联合组织的开源线下Meetup成功举办,会上重磅发布了「OceanBase&ChunJun:构建一体化数据集成方案」。这是OceanBase&ChunJun联合解决方案的首次发布,将针对分库分表的实时数据集成、跨集群/租户的数据集成、不同数据源的实时数据集成、日志类型数据的全增量一体化处理等诸多场景,提供高可靠数据集成解决方案。下面为大家带来具体介绍,欢迎分享给更多的开发者和爱好者共同学习、探讨。课件获取:关注公众号“ChunJun”,后台私信“Meetup”获得分享课件视频回看:https://www.bilibili.com/video

李呈祥:bilibili在湖仓一体查询加速上的实践与探索

导读:本文主要介绍哔哩哔哩在数据湖与数据仓库一体架构下,探索查询加速以及索引增强的一些实践。主要内容包括:什么是湖仓一体架构哔哩哔哩目前的湖仓一体架构湖仓一体架构下,数据的排序组织优化湖仓一体架构下,索引增强与优化的实践探索--01什么是湖仓一体当我们讲湖仓一体时,涉及到数据湖和数据仓库两个概念。什么是数据湖?通常来说,它有以下几个特点:有一个统一的存储系统,所有的数据都放到这个统一的存储系统里,没有数据孤岛。支持任意数据类型,比较自由,包括结构化、半结构化和非结构化的数据。这些不同类型的数据都可以统一放到存储系统里。对于多个计算引擎是开放的,包括实时、离线的分析等,计算引擎很丰富。有比较灵活

李呈祥:bilibili在湖仓一体查询加速上的实践与探索

导读:本文主要介绍哔哩哔哩在数据湖与数据仓库一体架构下,探索查询加速以及索引增强的一些实践。主要内容包括:什么是湖仓一体架构哔哩哔哩目前的湖仓一体架构湖仓一体架构下,数据的排序组织优化湖仓一体架构下,索引增强与优化的实践探索--01什么是湖仓一体当我们讲湖仓一体时,涉及到数据湖和数据仓库两个概念。什么是数据湖?通常来说,它有以下几个特点:有一个统一的存储系统,所有的数据都放到这个统一的存储系统里,没有数据孤岛。支持任意数据类型,比较自由,包括结构化、半结构化和非结构化的数据。这些不同类型的数据都可以统一放到存储系统里。对于多个计算引擎是开放的,包括实时、离线的分析等,计算引擎很丰富。有比较灵活

Flink-使用流批一体API统计单词数量

TheDataStreamAPIgetsitsnamefromthespecial DataStream classthatisusedtorepresentacollectionofdatainaFlinkprogram.Youcanthinkofthemasimmutablecollectionsofdatathatcancontainduplicates.Thisdatacaneitherbefiniteorunbounded,theAPIthatyouusetoworkonthemisthesame.执行模式(流/批)DataStreamAPI支持不同的运行时执行模式,你可以根据你的用

Flink-使用流批一体API统计单词数量

TheDataStreamAPIgetsitsnamefromthespecial DataStream classthatisusedtorepresentacollectionofdatainaFlinkprogram.Youcanthinkofthemasimmutablecollectionsofdatathatcancontainduplicates.Thisdatacaneitherbefiniteorunbounded,theAPIthatyouusetoworkonthemisthesame.执行模式(流/批)DataStreamAPI支持不同的运行时执行模式,你可以根据你的用

云享·人物丨造梦、探梦、筑梦,三位开发者在华为云上的寻梦之旅

摘要:走近华为云开发者日HDC.CloudDay,看三位特别的开发者用技术改变世界,用创造力让生活更美好。本文分享自华为云社区《云享·人物丨造梦、探梦、筑梦,三位开发者在华为云上的寻梦之旅》,作者:华为云社区精选。云享人物是华为云开发者社区自制的技术人物访谈栏目。讲述业界大咖、先锋开发者与华为云背后的故事,分享不平凡的技术创新历程,共话技术人生哲思。近期,华为云开发者日HDC.CloudDay首场上海站圆满落幕,来自千行百业、高校及科研院所等各类开发者们共襄技术盛宴。在这其中,涌现出三位特别的开发者代表。他是小小少年,科幻动画片埋下了理想的种子,用技术的力量温柔守护着盲人群体;他土木专业自学成