草庐IT

数仓建模

全部标签

优化数仓业务视图:过滤条件传递

摘要:在业务功能实现时,经常会用到视图简化查询SQL。但有时候会因为视图降低查询效率,本文主要分析在业务需求满足的情况下,将有效的过滤条件传递到基表,减少运算过程中数据库需要处理的数据量,提升SQL执行效率。本文分享自华为云社区《GaussDB(DWS)业务视图优化-过滤条件传递》,作者:卫小毛。在业务功能实现时,经常会用到视图简化查询SQL。但有时候会因为视图降低查询效率,本文主要分析在业务需求满足的情况下,将有效的过滤条件传递到基表,减少运算过程中数据库需要处理的数据量,提升SQL执行效率。SQL举例SELECTcount(1)AShave_done_num,t1.task_def_key

DTSE Tech Talk 第18期丨统计信息大揭秘,数仓SQL执行优化之密钥

摘要:华为云EIDTSE技术布道师王跃,针对统计信息对于查询优化器的重要性,GaussDB(DWS)最新版本的analyze当前能力,与开发者和伙伴朋友们展开交流互动,帮助开发者快速上手使用统计信息的自动收集功能。在本期《统计信息大揭秘——SQL执行优化之密钥》的主题直播中,我们邀请到华为云EIDTSE技术布道师王跃,针对统计信息对于查询优化器的重要性,GaussDB(DWS)最新版本的analyze当前能力,与开发者和伙伴朋友们展开交流互动,帮助开发者快速上手使用统计信息的自动收集功能。为何要重视统计信息收集?现阶段市场上的数据库产品,基本上都是基于CBO模型的优化器,在基于CBO模型的优化

DTSE Tech Talk 第18期丨统计信息大揭秘,数仓SQL执行优化之密钥

摘要:华为云EIDTSE技术布道师王跃,针对统计信息对于查询优化器的重要性,GaussDB(DWS)最新版本的analyze当前能力,与开发者和伙伴朋友们展开交流互动,帮助开发者快速上手使用统计信息的自动收集功能。在本期《统计信息大揭秘——SQL执行优化之密钥》的主题直播中,我们邀请到华为云EIDTSE技术布道师王跃,针对统计信息对于查询优化器的重要性,GaussDB(DWS)最新版本的analyze当前能力,与开发者和伙伴朋友们展开交流互动,帮助开发者快速上手使用统计信息的自动收集功能。为何要重视统计信息收集?现阶段市场上的数据库产品,基本上都是基于CBO模型的优化器,在基于CBO模型的优化

离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾

原文链接:离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾视频回顾:点击这里课件获取:点击这里一、离线数仓建设背景离线数据是相对实时数据而言的数据产出,不同于实时数据,离线数据一般是T+1天处理,也就是说昨天产生的数据至少要今天才能看到计算结果。离线数据一般应用于对数据时效要求不高,需要基于一段时间的历史数据计算才能得到结果的场景,我们大致可以分为离线数据分析及数据应用两类,离线数据计算具备:数据准确度高、吞吐量大、计算成本低等特点。离线数据应用的场景非常广泛,企业的数据迎来了爆发式的增长,目前企业数据规模巨大、数据类型多样、生成及处理速度极快、数据价值巨大但密度却较低,这些数据增

离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾

原文链接:离线数仓建设,企业大数据的业务驱动与技术实现丨03期直播回顾视频回顾:点击这里课件获取:点击这里一、离线数仓建设背景离线数据是相对实时数据而言的数据产出,不同于实时数据,离线数据一般是T+1天处理,也就是说昨天产生的数据至少要今天才能看到计算结果。离线数据一般应用于对数据时效要求不高,需要基于一段时间的历史数据计算才能得到结果的场景,我们大致可以分为离线数据分析及数据应用两类,离线数据计算具备:数据准确度高、吞吐量大、计算成本低等特点。离线数据应用的场景非常广泛,企业的数据迎来了爆发式的增长,目前企业数据规模巨大、数据类型多样、生成及处理速度极快、数据价值巨大但密度却较低,这些数据增

教你处理数仓慢SQL常见定位问题

摘要:通常在运维监控出现CPU使用率较高、P80/P95指标较高、慢SQL数量上升等现象,或者业务出现超时报错时,优先应排查是否出现慢SQL。本文分享自华为云社区《GaussDB慢SQL常见定位处理手段》,作者:酷哥。关键指标通常在运维监控出现CPU使用率较高、P80/P95指标较高、慢SQL数量上升等现象,或者业务出现超时报错时,优先应排查是否出现慢SQL。定位慢SQL手段实时慢SQL查询查询当前执行时间TOP10的SQL,识别长时间未结束的SQL后可以手动中止。selecta.pid,a.sessionid,a.datname,a.usename,a.application_name,a.

教你处理数仓慢SQL常见定位问题

摘要:通常在运维监控出现CPU使用率较高、P80/P95指标较高、慢SQL数量上升等现象,或者业务出现超时报错时,优先应排查是否出现慢SQL。本文分享自华为云社区《GaussDB慢SQL常见定位处理手段》,作者:酷哥。关键指标通常在运维监控出现CPU使用率较高、P80/P95指标较高、慢SQL数量上升等现象,或者业务出现超时报错时,优先应排查是否出现慢SQL。定位慢SQL手段实时慢SQL查询查询当前执行时间TOP10的SQL,识别长时间未结束的SQL后可以手动中止。selecta.pid,a.sessionid,a.datname,a.usename,a.application_name,a.

数据建模(1)

2022-09-20数据建模数据建模的定义:  给已有数据建立模式,即创建各种各样的表,表与表之间的联系(主键、外键)。通过分析实体(一个特定环境中实际的个体)以及实体的属性(实体与实体的属性就是对已有数据的一个描述)获得数据,将数据按照一些方式(E-R图、数据流图等)存放到创建的表中,在表中设置字段(属性)、字段的约束条件(字段属于什么类型,int,varchar等;是否可以为空值),创建表后,找到不同表之间的联系。最终数据建模交付的内容是数据结构。数据建模的步骤:  (1)数据库逻辑设计(逻辑设计,有道理的有效的设计分析,主要是从业务需求的角度进行逻辑设计)  (2)数据库物理设计(是针对

数据建模(1)

2022-09-20数据建模数据建模的定义:  给已有数据建立模式,即创建各种各样的表,表与表之间的联系(主键、外键)。通过分析实体(一个特定环境中实际的个体)以及实体的属性(实体与实体的属性就是对已有数据的一个描述)获得数据,将数据按照一些方式(E-R图、数据流图等)存放到创建的表中,在表中设置字段(属性)、字段的约束条件(字段属于什么类型,int,varchar等;是否可以为空值),创建表后,找到不同表之间的联系。最终数据建模交付的内容是数据结构。数据建模的步骤:  (1)数据库逻辑设计(逻辑设计,有道理的有效的设计分析,主要是从业务需求的角度进行逻辑设计)  (2)数据库物理设计(是针对

【UML分析、建模与设计】我在工作时遇到UML

一、前言UML分析、建模与设计来自现实世界中的概念的抽象描述方法(摘取自《UML面向对象分析、建模与设计(第2版)》)就我对UML分析与建模技术的认知,最早可追溯至2019年时的学习。也是在正式开发项目前,最后学习的一门设计类知识,我认为这是软件开发者描述业务逻辑的最佳方式。写这篇博客,我是希望在未来,我的同事、合作者或者是交流人员,能够拥有一定的建模习惯。或者在互相关注之后,能够知道我的编程习惯是怎样的,能够拥有更好的默契和愉快的合作。二、代码注释与UML语言(代码注释)在项目编码过程中,是必不可缺的一个环节,也是工作组中合作交流的关键。在中大型项目中,如果个人的代码、算法、业务处理能力一般