本文将系统地介绍lakehouse、tableformat概念,阐述湖仓一体作为数据湖流批一体的解决方案,可以发挥哪些价值。在这个价值驱动下,我们过去两年开发了arctic这个流式湖仓服务,并在今年下半年开源。湖仓一体拓展了数据中台和dataops的边界,让业务基于数据湖,数据中台也能做流式更新;实时数仓,让数据湖能够具备传统数仓,kudu,doris的能力,为业务极大地降本提效。1.前数据湖是什么数据湖这个概念最早由Pentaho创始人兼CTOJamesDixon在2010年提出,从当时背景看,这个点子主要是为了推销自家公司基于hadoop的BI产品方案,时至今日,虽然Pentaho已被日立
本文将系统地介绍lakehouse、tableformat概念,阐述湖仓一体作为数据湖流批一体的解决方案,可以发挥哪些价值。在这个价值驱动下,我们过去两年开发了arctic这个流式湖仓服务,并在今年下半年开源。湖仓一体拓展了数据中台和dataops的边界,让业务基于数据湖,数据中台也能做流式更新;实时数仓,让数据湖能够具备传统数仓,kudu,doris的能力,为业务极大地降本提效。1.前数据湖是什么数据湖这个概念最早由Pentaho创始人兼CTOJamesDixon在2010年提出,从当时背景看,这个点子主要是为了推销自家公司基于hadoop的BI产品方案,时至今日,虽然Pentaho已被日立
想了解更多关于开源的内容,请访问:51CTO 开源基础软件社区https://ost.51cto.com首先感谢大家参与我们Arctic开源发布会。我是马进,网易数帆实时计算和湖仓一体团队负责人。我们在2020年开始关注数据湖新的技术,并用它来构建流批一体、湖仓一体的架构。最早我们使用Flink+Iceberg,但是实践过程中发现这个架构距离生产场景还有很大的gap,所以有了Arctic项目(github.com/NetEase/arctic)。数据湖Tableformat之争先看目前ApacheHudi、ApacheIceberg、Delta这几个主流的开源Table
想了解更多关于开源的内容,请访问:51CTO 开源基础软件社区https://ost.51cto.com首先感谢大家参与我们Arctic开源发布会。我是马进,网易数帆实时计算和湖仓一体团队负责人。我们在2020年开始关注数据湖新的技术,并用它来构建流批一体、湖仓一体的架构。最早我们使用Flink+Iceberg,但是实践过程中发现这个架构距离生产场景还有很大的gap,所以有了Arctic项目(github.com/NetEase/arctic)。数据湖Tableformat之争先看目前ApacheHudi、ApacheIceberg、Delta这几个主流的开源Table