摘要：Bucket存储是数据共享中重要的一环，当前阶段，bucket存储可以将列存中的CU数据和DN节点解绑。本文分享自华为云社区《存算分离之bucket表——【玩转PB级数仓GaussDB(DWS)】》，作者：yd_278301229。在云原生环境，用户可以自由配置cup型号、内存、磁盘、带宽等资源，需要在计算和IO之间做平衡；如果计算和存储耦合，扩缩容时数据要在节点之间移动，同时还要对外提供计算，性能会大受影响。如果存算分离，计算出和存储层可以独立增加节点互不干扰，这其中一个关键点是做到数据共享。Bucket存储是数据共享中重要的一环，当前阶段，bucket存储可以将列存中的CU数据和DN
摘要：本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维--单SQL磁盘空间管控》，作者：譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异)，本文针对根因和场景触发场景，确定触发此类问题的根因ThespaceusedonDN(209715224kB)hasexceededthesqlusespacelimit(209715200kB)【问题根因】该报错表示用户执行的sql在单DN上所用空间超过了参数sql_use_spacelimit的限制。sql_use_spacelimit限制单个SQL在
摘要：本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维--单SQL磁盘空间管控》，作者：譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异)，本文针对根因和场景触发场景，确定触发此类问题的根因ThespaceusedonDN(209715224kB)hasexceededthesqlusespacelimit(209715200kB)【问题根因】该报错表示用户执行的sql在单DN上所用空间超过了参数sql_use_spacelimit的限制。sql_use_spacelimit限制单个SQL在
1.数据仓库的概念数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。目前大数据平台的架构有以下三种架构:① 数据仓库(DataWarehouse)是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化的（TimeVariant）数据集合，用于支持管理决策和信息的全局共享。② 数据湖（DataLake）是一个存储企业
1.数据仓库的概念数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。目前大数据平台的架构有以下三种架构:① 数据仓库(DataWarehouse)是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化的（TimeVariant）数据集合，用于支持管理决策和信息的全局共享。② 数据湖（DataLake）是一个存储企业
摘要：本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维--单SQL磁盘空间管控》，作者：譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异)，本文针对根因和场景触发场景，确定触发此类问题的根因ThespaceusedonDN(209715224kB)hasexceededthesqlusespacelimit(209715200kB)【问题根因】该报错表示用户执行的sql在单DN上所用空间超过了参数sql_use_spacelimit的限制。sql_use_spacelimit限制单个SQL在
摘要：本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维--单SQL磁盘空间管控》，作者：譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异)，本文针对根因和场景触发场景，确定触发此类问题的根因ThespaceusedonDN(209715224kB)hasexceededthesqlusespacelimit(209715200kB)【问题根因】该报错表示用户执行的sql在单DN上所用空间超过了参数sql_use_spacelimit的限制。sql_use_spacelimit限制单个SQL在
一、引言通过BI平台取数、看数、分析数成为辅助决策、精细运营等非常重要的手段，然而随着去哪儿网业务不断发展，产品、运营等同学对这方面有更高的要求，例如简单易用的拖拽式报表、取数方便的自由式分析、查询速度的秒级响应、观测指标数据的准确可信等等。面对用户的个性化诉求以及海量数据，在平台体系化建设和技术实现上有一定的挑战性，本文将介绍去哪儿网BI平台的建设历程及实践，通过打造全场景的BI平台为业务增长赋能。二、建设历程从2015年至今BI平台的建设，经历了多年迭代发展，始终结合业务需要遵循以下几个原则：用户尽可能的自助完成，使开发同学尽可能少的介入，即提升取数看数分析数效率；平台功能上，操作方便门
一、引言通过BI平台取数、看数、分析数成为辅助决策、精细运营等非常重要的手段，然而随着去哪儿网业务不断发展，产品、运营等同学对这方面有更高的要求，例如简单易用的拖拽式报表、取数方便的自由式分析、查询速度的秒级响应、观测指标数据的准确可信等等。面对用户的个性化诉求以及海量数据，在平台体系化建设和技术实现上有一定的挑战性，本文将介绍去哪儿网BI平台的建设历程及实践，通过打造全场景的BI平台为业务增长赋能。二、建设历程从2015年至今BI平台的建设，经历了多年迭代发展，始终结合业务需要遵循以下几个原则：用户尽可能的自助完成，使开发同学尽可能少的介入，即提升取数看数分析数效率；平台功能上，操作方便门
1、效率低传统的数仓大多构建在Hadoop之上。这位传统的数仓带来了近乎无限的横向扩展能力，同时也造成了传统的数仓技术效率低的缺陷。效率低主要体现在以下几个方面。部署效率低：在部署Hive/HBase/Kylin之前，必须部署好Hadoop集群。和传统数据库相比，这个部署效率是非常低效的。运维效率低：Hive/HBase/Kylin基于Hadoop，Hadoop生态会带来一个非常严重的单点故障问题，即Hadoop体系中任何一个组件出现问题，都可能引起整个系统的不可用。使用传统的数仓对运维的要求非常高。计算效率低：主要体现在Hive和Kylin上，这两个数仓没有自己的存储引擎和计算引擎，这导致H
