草庐IT

bucket表:数仓存算分离中CU与DN解绑的关键

摘要:Bucket存储是数据共享中重要的一环,当前阶段,bucket存储可以将列存中的CU数据和DN节点解绑。本文分享自华为云社区《存算分离之bucket表——【玩转PB级数仓GaussDB(DWS)】》,作者:yd_278301229。在云原生环境,用户可以自由配置cup型号、内存、磁盘、带宽等资源,需要在计算和IO之间做平衡;如果计算和存储耦合,扩缩容时数据要在节点之间移动,同时还要对外提供计算,性能会大受影响。如果存算分离,计算出和存储层可以独立增加节点互不干扰,这其中一个关键点是做到数据共享。Bucket存储是数据共享中重要的一环,当前阶段,bucket存储可以将列存中的CU数据和DN

bucket表:数仓存算分离中CU与DN解绑的关键

摘要:Bucket存储是数据共享中重要的一环,当前阶段,bucket存储可以将列存中的CU数据和DN节点解绑。本文分享自华为云社区《存算分离之bucket表——【玩转PB级数仓GaussDB(DWS)】》,作者:yd_278301229。在云原生环境,用户可以自由配置cup型号、内存、磁盘、带宽等资源,需要在计算和IO之间做平衡;如果计算和存储耦合,扩缩容时数据要在节点之间移动,同时还要对外提供计算,性能会大受影响。如果存算分离,计算出和存储层可以独立增加节点互不干扰,这其中一个关键点是做到数据共享。Bucket存储是数据共享中重要的一环,当前阶段,bucket存储可以将列存中的CU数据和DN

聊聊大数据下的存算分离

最近跟好几个用户在交流的时候都提到了大数据的存算分离,有的是云厂商给他们推荐的方案,比如:某某运营商说最近xx云一直在给他们推荐存算分离化改造,背景是有个几十台的HDFS小集群,存储的文件数量比较多,经常性出问题,xx云的商务就跟他们说用对象存储如何如何来解决问题,听起来感觉有点道理,但是又拿不定主意,毕竟整个改造过程动静大、周期长,而且需要很大的投入,无论从建设周期还是成本投入上来看,都需要慎重考虑。有的是为了技术栈统一,比如:某某医药类企业,在整体技术架构重构时,已经引入了xx对象存储,基于技术栈统一的角度,想了解下大数据基于对象存储下存算分离是否可行,如果可行,有没有什么潜在的风险?上面

聊聊大数据下的存算分离

最近跟好几个用户在交流的时候都提到了大数据的存算分离,有的是云厂商给他们推荐的方案,比如:某某运营商说最近xx云一直在给他们推荐存算分离化改造,背景是有个几十台的HDFS小集群,存储的文件数量比较多,经常性出问题,xx云的商务就跟他们说用对象存储如何如何来解决问题,听起来感觉有点道理,但是又拿不定主意,毕竟整个改造过程动静大、周期长,而且需要很大的投入,无论从建设周期还是成本投入上来看,都需要慎重考虑。有的是为了技术栈统一,比如:某某医药类企业,在整体技术架构重构时,已经引入了xx对象存储,基于技术栈统一的角度,想了解下大数据基于对象存储下存算分离是否可行,如果可行,有没有什么潜在的风险?上面