摘要：Bucket存储是数据共享中重要的一环，当前阶段，bucket存储可以将列存中的CU数据和DN节点解绑。本文分享自华为云社区《存算分离之bucket表——【玩转PB级数仓GaussDB(DWS)】》，作者：yd_278301229。在云原生环境，用户可以自由配置cup型号、内存、磁盘、带宽等资源，需要在计算和IO之间做平衡；如果计算和存储耦合，扩缩容时数据要在节点之间移动，同时还要对外提供计算，性能会大受影响。如果存算分离，计算出和存储层可以独立增加节点互不干扰，这其中一个关键点是做到数据共享。Bucket存储是数据共享中重要的一环，当前阶段，bucket存储可以将列存中的CU数据和DN
摘要：本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维--单SQL磁盘空间管控》，作者：譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异)，本文针对根因和场景触发场景，确定触发此类问题的根因ThespaceusedonDN(209715224kB)hasexceededthesqlusespacelimit(209715200kB)【问题根因】该报错表示用户执行的sql在单DN上所用空间超过了参数sql_use_spacelimit的限制。sql_use_spacelimit限制单个SQL在
摘要：本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维--单SQL磁盘空间管控》，作者：譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异)，本文针对根因和场景触发场景，确定触发此类问题的根因ThespaceusedonDN(209715224kB)hasexceededthesqlusespacelimit(209715200kB)【问题根因】该报错表示用户执行的sql在单DN上所用空间超过了参数sql_use_spacelimit的限制。sql_use_spacelimit限制单个SQL在
摘要：本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维--单SQL磁盘空间管控》，作者：譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异)，本文针对根因和场景触发场景，确定触发此类问题的根因ThespaceusedonDN(209715224kB)hasexceededthesqlusespacelimit(209715200kB)【问题根因】该报错表示用户执行的sql在单DN上所用空间超过了参数sql_use_spacelimit的限制。sql_use_spacelimit限制单个SQL在
摘要：本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维--单SQL磁盘空间管控》，作者：譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异)，本文针对根因和场景触发场景，确定触发此类问题的根因ThespaceusedonDN(209715224kB)hasexceededthesqlusespacelimit(209715200kB)【问题根因】该报错表示用户执行的sql在单DN上所用空间超过了参数sql_use_spacelimit的限制。sql_use_spacelimit限制单个SQL在
一、引言通过BI平台取数、看数、分析数成为辅助决策、精细运营等非常重要的手段，然而随着去哪儿网业务不断发展，产品、运营等同学对这方面有更高的要求，例如简单易用的拖拽式报表、取数方便的自由式分析、查询速度的秒级响应、观测指标数据的准确可信等等。面对用户的个性化诉求以及海量数据，在平台体系化建设和技术实现上有一定的挑战性，本文将介绍去哪儿网BI平台的建设历程及实践，通过打造全场景的BI平台为业务增长赋能。二、建设历程从2015年至今BI平台的建设，经历了多年迭代发展，始终结合业务需要遵循以下几个原则：用户尽可能的自助完成，使开发同学尽可能少的介入，即提升取数看数分析数效率；平台功能上，操作方便门
一、引言通过BI平台取数、看数、分析数成为辅助决策、精细运营等非常重要的手段，然而随着去哪儿网业务不断发展，产品、运营等同学对这方面有更高的要求，例如简单易用的拖拽式报表、取数方便的自由式分析、查询速度的秒级响应、观测指标数据的准确可信等等。面对用户的个性化诉求以及海量数据，在平台体系化建设和技术实现上有一定的挑战性，本文将介绍去哪儿网BI平台的建设历程及实践，通过打造全场景的BI平台为业务增长赋能。二、建设历程从2015年至今BI平台的建设，经历了多年迭代发展，始终结合业务需要遵循以下几个原则：用户尽可能的自助完成，使开发同学尽可能少的介入，即提升取数看数分析数效率；平台功能上，操作方便门
1、效率低传统的数仓大多构建在Hadoop之上。这位传统的数仓带来了近乎无限的横向扩展能力，同时也造成了传统的数仓技术效率低的缺陷。效率低主要体现在以下几个方面。部署效率低：在部署Hive/HBase/Kylin之前，必须部署好Hadoop集群。和传统数据库相比，这个部署效率是非常低效的。运维效率低：Hive/HBase/Kylin基于Hadoop，Hadoop生态会带来一个非常严重的单点故障问题，即Hadoop体系中任何一个组件出现问题，都可能引起整个系统的不可用。使用传统的数仓对运维的要求非常高。计算效率低：主要体现在Hive和Kylin上，这两个数仓没有自己的存储引擎和计算引擎，这导致H
1、效率低传统的数仓大多构建在Hadoop之上。这位传统的数仓带来了近乎无限的横向扩展能力，同时也造成了传统的数仓技术效率低的缺陷。效率低主要体现在以下几个方面。部署效率低：在部署Hive/HBase/Kylin之前，必须部署好Hadoop集群。和传统数据库相比，这个部署效率是非常低效的。运维效率低：Hive/HBase/Kylin基于Hadoop，Hadoop生态会带来一个非常严重的单点故障问题，即Hadoop体系中任何一个组件出现问题，都可能引起整个系统的不可用。使用传统的数仓对运维的要求非常高。计算效率低：主要体现在Hive和Kylin上，这两个数仓没有自己的存储引擎和计算引擎，这导致H
1、背景任何一个系统，为了保证其良好地运行下去，一定是需要持续的维护和治理，数仓也不例外。本文主要分享下今年严选数仓团队从规范、计存、质量、安全几块入手对现有数据资产进行的一些治理的思路和方案。网易严选是个自营品牌电商，这意味着严选的业务会覆盖C端的用户营销，商品到B端的供应链以及财务业务。业务和数据的整体复杂度会相对较高，各个不同业务域也呈现出不同的特点和问题。所以我们需要结合现有的资产特点去设计治理方法论和效果评估方法，然后围绕着治理方法论去建设我们的治理工具。治理开始前，先盘一下我们可用的资源，设计下整体的方向。从人力上来说，项目整体设计与推动大概可投入1.5人力，治理实施可以拉上资产对
