草庐IT

数仓建设

全部标签

数仓及其维度(分层)建模(ODS DWD DWS DWT ADS)

一.数仓及其维度1.什么是数仓?        数据仓库,简称数仓,(DataWarehouse)。从逻辑上理解,数据库和数仓没有区别,都是通过数据库软件实现存放数据的地方,只不过从数据量来说,数据仓库要比数据库更庞大。数仓主要是为企业制定决策,提供数据支持的。当业务简单,可以用数据库来存储,分析,制表。但当数据量几何式增长,需要跨机器整合时,数仓就是非常必要的了。2.数仓的特点(1)集成性        数仓中存储的数据来源于多个数据源,原始数据在不同数据源中的存储方式各不相同。要整合成为最终的数据集合,需要从数据源经过一系列抽取、清洗、转换的过程。(2)稳定性        数仓中保存的数

100页5万字政府大数据中心数据资源平台建设方案

目录1总体建设方案概述41.1项目建设目标41.2项目建设内容51.2.1建设数据交换子平台61.2.2建设数据治理子平台61.2.3建设数据资源门户71.2.4建设数据资源中心81.3总体建设方案91.3.1中心总体定位91.3.2总体解决方案91.3.3项目实施方案122资源平台建设方案132.1平台总体架构132.2数据交换子平台建设132.2.1建设方案概述132.2.2数据交换配置152.2.3数据交换前置152.2.4数据共享服务162.2.5数据共享接口182.2.6数据交换监控182.3数据治理子平台建设192.3.1建设方案概述192.3.2资源目录管理212.3.3数据标准

100页5万字政府大数据中心数据资源平台建设方案

目录1总体建设方案概述41.1项目建设目标41.2项目建设内容51.2.1建设数据交换子平台61.2.2建设数据治理子平台61.2.3建设数据资源门户71.2.4建设数据资源中心81.3总体建设方案91.3.1中心总体定位91.3.2总体解决方案91.3.3项目实施方案122资源平台建设方案132.1平台总体架构132.2数据交换子平台建设132.2.1建设方案概述132.2.2数据交换配置152.2.3数据交换前置152.2.4数据共享服务162.2.5数据共享接口182.2.6数据交换监控182.3数据治理子平台建设192.3.1建设方案概述192.3.2资源目录管理212.3.3数据标准

数仓开发之DWD层(三)

(附:由于篇幅原因,这里就不在展示代码了,直接告诉大家思路)目录五:交易域订单预处理表5.1 主要任务5.2思路分析5.3 图解六:交易域下单事务事实表6.1主要任务:6.2思路分析:6.3图解:七:交易域取消订单事务事实表7.1主要任务:7.2思路分析:7.3图解:八:交易域支付成功事务事实表8.1主要任务:8.2思路分析:8.3图解:九:交易域退单事务事实表9.1主要任务:9.2思路分析:9.3图解:十:交易域退款成功事务事实表10.1主要任务:10.2思路分析:10.3图解:五:交易域订单预处理表5.1 主要任务经过分析,订单明细表和取消订单明细表的数据来源、表结构都相同,差别只在业务过

数仓开发之DWD层(三)

(附:由于篇幅原因,这里就不在展示代码了,直接告诉大家思路)目录五:交易域订单预处理表5.1 主要任务5.2思路分析5.3 图解六:交易域下单事务事实表6.1主要任务:6.2思路分析:6.3图解:七:交易域取消订单事务事实表7.1主要任务:7.2思路分析:7.3图解:八:交易域支付成功事务事实表8.1主要任务:8.2思路分析:8.3图解:九:交易域退单事务事实表9.1主要任务:9.2思路分析:9.3图解:十:交易域退款成功事务事实表10.1主要任务:10.2思路分析:10.3图解:五:交易域订单预处理表5.1 主要任务经过分析,订单明细表和取消订单明细表的数据来源、表结构都相同,差别只在业务过

腾讯云官方课:EMR数仓全套教程重磅首发

这几天把跨年搞的和人生分水岭似的🤪2023年的你有什么不一样了吗?是不是还和去年一样的造型?新姿(知)势(识),学起来腾讯云开发者社区带着干货来了腾讯云×尚硅谷大数据研究院强强联手重磅推出新年第一弹腾讯云EMR数仓教程发布腾讯云开发者社区“公开课”直达:https://mc.tencent.com/JLIcWlY0扫码加入“腾讯云大数据EMR交流群”免费获取全套教程群内提供腾讯云官方大数据团队导师全程指导及技术交流本教程由腾讯云官方与尚硅谷大数据研究院联合推出,分为实时及离线两部分。实时数仓依托国内电商巨头的真实业务场景,基于各大互联网企业对于腾讯云EMR架构体系的需求,将整个电商的实时数据仓

腾讯云官方课:EMR数仓全套教程重磅首发

这几天把跨年搞的和人生分水岭似的🤪2023年的你有什么不一样了吗?是不是还和去年一样的造型?新姿(知)势(识),学起来腾讯云开发者社区带着干货来了腾讯云×尚硅谷大数据研究院强强联手重磅推出新年第一弹腾讯云EMR数仓教程发布腾讯云开发者社区“公开课”直达:https://mc.tencent.com/JLIcWlY0扫码加入“腾讯云大数据EMR交流群”免费获取全套教程群内提供腾讯云官方大数据团队导师全程指导及技术交流本教程由腾讯云官方与尚硅谷大数据研究院联合推出,分为实时及离线两部分。实时数仓依托国内电商巨头的真实业务场景,基于各大互联网企业对于腾讯云EMR架构体系的需求,将整个电商的实时数据仓

背后的力量 | 推动智慧校园建设 华云数据帮助昆明卫生职业学院重塑IT架构

昆明卫生职业学院是一所经云南省人民政府批准、报国家教育部备案,纳入国家计划内统一招生,具有独立颁发国家承认学历文凭资格的民办全日制普通高等职业院校,是云南省省会昆明唯一一所举办全医学类的民办高等职业院校。截止2019年学校开设临床医学、中医骨伤、针灸推拿、口腔医学、预防医学(2019年新增专业 [1])护理学、助产、医学检验技术、医学影像技术、药学、康复治疗技术、医疗设备应用技术等专业。作为中国领先的综合云计算服务商,华云数据(微信号:chinac_com)对教育信息化、数字化发展有着深入的理解和丰富的经验。致力于把云计算、大数据等新一代信息技术应用到教育教学的场景中,让它实现深度融合,产生真

背后的力量 | 推动智慧校园建设 华云数据帮助昆明卫生职业学院重塑IT架构

昆明卫生职业学院是一所经云南省人民政府批准、报国家教育部备案,纳入国家计划内统一招生,具有独立颁发国家承认学历文凭资格的民办全日制普通高等职业院校,是云南省省会昆明唯一一所举办全医学类的民办高等职业院校。截止2019年学校开设临床医学、中医骨伤、针灸推拿、口腔医学、预防医学(2019年新增专业 [1])护理学、助产、医学检验技术、医学影像技术、药学、康复治疗技术、医疗设备应用技术等专业。作为中国领先的综合云计算服务商,华云数据(微信号:chinac_com)对教育信息化、数字化发展有着深入的理解和丰富的经验。致力于把云计算、大数据等新一代信息技术应用到教育教学的场景中,让它实现深度融合,产生真

【SQL开发实战技巧】系列(二十六):数仓报表场景☞聊聊ROLLUP、UNION ALL是如何分别做分组合计的以及如何识别哪些行是做汇总的结果行

系列文章目录【SQL开发实战技巧】系列(一):关于SQL不得不说的那些事【SQL开发实战技巧】系列(二):简单单表查询【SQL开发实战技巧】系列(三):SQL排序的那些事【SQL开发实战技巧】系列(四):从执行计划讨论UNIONALL与空字符串&UNION与OR的使用注意事项【SQL开发实战技巧】系列(五):从执行计划看IN、EXISTS和INNERJOIN效率,我们要分场景不要死记网上结论【SQL开发实战技巧】系列(六):从执行计划看NOTIN、NOTEXISTS和LEFTJOIN效率,记住内外关联条件不要乱放【SQL开发实战技巧】系列(七):从有重复数据前提下如何比较出两个表中的差异数据及