草庐IT

数仓一体化

全部标签

数据仓库(12)数据治理之数仓数据管理实践心得

这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:数据仓库(11)什么是大数据治理,数据治理的范围是哪些。那接下来就继续说说数据治理的一些思路心得。接到数据治理的任务?要怎么做?梳理目前数据集群,以及业务的总体情况这个,其实没有什么好说,做事情之前,肯定是要先了解,我

数据仓库(12)数据治理之数仓数据管理实践心得

这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:数据仓库(11)什么是大数据治理,数据治理的范围是哪些。那接下来就继续说说数据治理的一些思路心得。接到数据治理的任务?要怎么做?梳理目前数据集群,以及业务的总体情况这个,其实没有什么好说,做事情之前,肯定是要先了解,我

未来,软+硬+AI三位一体化自治数据库

在2022世界人工智能大会(WAIC)上,腾讯云数据库技术负责人程彬为大家分享了数据库与AI相结合背后的故事。在专场《当数据库遇上AI》中,程彬基于腾讯云数据库在AI智能化的探索与实践,剖析数据库与AI融合背后的技术关键点,为产业界提供前沿解决方案。以下为演讲实录:点击观看完整版直播回放线上、线下的朋友们,大家好,我是腾讯云数据库工程师程彬,非常荣幸能够在这个时期跟大家一起交流数据库技术。今天我代表我们团队,和大家一起谈谈AI和数据库结合的技术思考,并结合腾讯云数据库的实战经验分享一下AI工程化落地实践。云数据库面临的新挑战随着数字化转型的深入,越来越多的企业生产从线下到线上,大量的数据存储、

未来,软+硬+AI三位一体化自治数据库

在2022世界人工智能大会(WAIC)上,腾讯云数据库技术负责人程彬为大家分享了数据库与AI相结合背后的故事。在专场《当数据库遇上AI》中,程彬基于腾讯云数据库在AI智能化的探索与实践,剖析数据库与AI融合背后的技术关键点,为产业界提供前沿解决方案。以下为演讲实录:点击观看完整版直播回放线上、线下的朋友们,大家好,我是腾讯云数据库工程师程彬,非常荣幸能够在这个时期跟大家一起交流数据库技术。今天我代表我们团队,和大家一起谈谈AI和数据库结合的技术思考,并结合腾讯云数据库的实战经验分享一下AI工程化落地实践。云数据库面临的新挑战随着数字化转型的深入,越来越多的企业生产从线下到线上,大量的数据存储、

数仓在线运维:如何进行在线增删CN?

摘要:集群运行过程中,根据集群的综合负载和业务接入情况进行分析:增加CN可以适当降低CPU消耗,增大接入连接数,分散CN节点业务压力,根据实际情况来识别是否要增加CN,如果是提升集群容量和扩展比能力,建议进行扩容操作。本文分享自华为云社区《【玩转PB级数仓GaussDB(DWS)】在线运维-在线增删CN》,作者:sevenjiang。集群运行过程中,根据集群的综合负载和业务接入情况进行分析:增加CN可以适当降低CPU消耗,增大接入连接数,分散CN节点业务压力,根据实际情况来识别是否要增加CN,如果是提升集群容量和扩展比能力,建议进行扩容操作。支持在线运维:在符合增加CN、删除CN界面的准入条件

数仓在线运维:如何进行在线增删CN?

摘要:集群运行过程中,根据集群的综合负载和业务接入情况进行分析:增加CN可以适当降低CPU消耗,增大接入连接数,分散CN节点业务压力,根据实际情况来识别是否要增加CN,如果是提升集群容量和扩展比能力,建议进行扩容操作。本文分享自华为云社区《【玩转PB级数仓GaussDB(DWS)】在线运维-在线增删CN》,作者:sevenjiang。集群运行过程中,根据集群的综合负载和业务接入情况进行分析:增加CN可以适当降低CPU消耗,增大接入连接数,分散CN节点业务压力,根据实际情况来识别是否要增加CN,如果是提升集群容量和扩展比能力,建议进行扩容操作。支持在线运维:在符合增加CN、删除CN界面的准入条件

你应该知道的数仓安全:都是同名Schema惹的祸

摘要:我是管理员账号,怎么还没有权限?当小伙伴询问的时候,我第一时间就会想到都是用户同名Schema惹的祸本文分享自华为云社区《你应该知道的数仓安全——都是同名Schema惹的祸》,作者:zhangkunhn。典型场景经常遇到小伙伴问到:我是管理员账号,怎么还没有权限?管理员给我赋权了啊,怎么还没有权限?当小伙伴询问的时候,我第一时间就会想到都是用户同名Schema惹的祸。同名Schema是私有Schema我们知道,CREATEUSER语法在创建用户的同时会在当前数据库中创建一个与用户同名的SCHEMA。这个Schema很特殊,只有两种用户能在这个Schema下面创建表、视图、函数等对象:用户

你应该知道的数仓安全:都是同名Schema惹的祸

摘要:我是管理员账号,怎么还没有权限?当小伙伴询问的时候,我第一时间就会想到都是用户同名Schema惹的祸本文分享自华为云社区《你应该知道的数仓安全——都是同名Schema惹的祸》,作者:zhangkunhn。典型场景经常遇到小伙伴问到:我是管理员账号,怎么还没有权限?管理员给我赋权了啊,怎么还没有权限?当小伙伴询问的时候,我第一时间就会想到都是用户同名Schema惹的祸。同名Schema是私有Schema我们知道,CREATEUSER语法在创建用户的同时会在当前数据库中创建一个与用户同名的SCHEMA。这个Schema很特殊,只有两种用户能在这个Schema下面创建表、视图、函数等对象:用户

湖仓一体天花板,大数据一站式交互式SQL分析技术

本文分享自华为云社区《【华为云Stack】【大架光临】第7期:湖仓一体天花板,大数据一站式SQL分析技术实践》,作者:华为云HetuEngine首席架构师武文博。(一)背景早在2020年5月华为云全球分析师大会中,华为率先提出“湖仓一体”概念,并落地在华为云FusionInsight智能数据湖解决方案中。其中,HetuEngine河图引擎承担一站式SQL分析引擎角色,使能跨源、跨域的一体化分析落地。基于云原生架构,让“逻辑数据湖”大规模数据融合分析提效50倍,本文将详细阐述HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例。(二)需求和挑战我们调研了上千家客户,对于一站式S

湖仓一体天花板,大数据一站式交互式SQL分析技术

本文分享自华为云社区《【华为云Stack】【大架光临】第7期:湖仓一体天花板,大数据一站式SQL分析技术实践》,作者:华为云HetuEngine首席架构师武文博。(一)背景早在2020年5月华为云全球分析师大会中,华为率先提出“湖仓一体”概念,并落地在华为云FusionInsight智能数据湖解决方案中。其中,HetuEngine河图引擎承担一站式SQL分析引擎角色,使能跨源、跨域的一体化分析落地。基于云原生架构,让“逻辑数据湖”大规模数据融合分析提效50倍,本文将详细阐述HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例。(二)需求和挑战我们调研了上千家客户,对于一站式S