草庐IT

数仓一体化

全部标签

揭秘新一代云数仓技术架构与最佳实践

从传统数仓到湖仓一体,历经三十多年发展,技术的浪潮快速迭代,以云原生数仓为中心的现代数据栈时代已然到来。背后的核心的原因在于,企业正在加速走向数字化、智能化,对数据的应用也提出了全新要求,特别是对数据的实时分析、实时部署需求更加的强烈,而云数据仓库为用户实现云原生、智能运维、弹性资源等业务需求也带来了很好的支撑,成为今天企业数字化基础设施中的关键“底座”。本期内容主要邀请来自火山引擎的专家,分享云数仓领域关键技术、发展方向以及最佳实践,为广大数据领域从业者带来思考。活动时间:6月20日14:00-15:30活动内容:演讲议题一:揭秘新一代云数仓技术架构与最佳实践演讲人:Aurora火山引擎By

档案馆空气质量在线电脑一体化监控系统方案

档案馆温湿度十防环境一体化解决平台方案说明:档案库房温湿度一般要达到如下要求:在选定温度、湿度后,每昼夜波动幅度温度≦±2℃,湿度≦±5%RH。下表是档案库房温湿度要求列表:档案库房温湿度要求项目温湿度范围采暖期(冬季)夏季温度14~24℃≧14℃≦24℃湿度45~60%RH≧45%RH≦60%RH各类技术用房温湿度要求用房名称温度(℃)相对湿度(%)用房名称温度(℃)相对湿度(%)裱糊室18~28℃50~70%RH阅览室18~28℃-保护技术试验室18~28℃40~60%RH磁带室14~24℃40~60%RH复印室18~28℃50~65%RH展览室14~28℃45~60%RH声像室20~25

2023-DataWorks数仓开发手册收藏版

 DataWorks开发规范1数仓基本概念1.4.1ods数据源层表命名规范1.4.2dim维表层表命名规范1.4.3dwd数据明细层表命名规范1.4.3dws数据明细层表命名规范1.4.4ads数据应用层表命名规范1.1数据仓库架构1.2数据仓库具体业务域划分1.3数据仓库数据流动方向1.4数据仓库中表命名规范2DataWorks开发规范2.2.1工作空间的创立2.2.2数据源的创立2.2.3数据开发页面简介2.2.4临时查询页面简介2.2.5公共表页面简介2.2.6函数列表页面简介2.1概述2.2DataWorks开发的准备工作3DataWorks开发规范3.2.1建立maxcompute

CDH数仓项目(一) —— CDH安装部署搭建详细流程

0说明本文以CDH搭建数据仓库,基于三台阿里云服务器从零开始搭建CDH集群,节点配置信息如下:节点内存安装服务角色chen10216Gcloudera-scm-serverchen1038Gcloudera-scm-agentchen1048Gcloudera-scm-agent上传需要用到的安装包:①CDH安装包,百度云分享如下:链接:https://pan.baidu.com/s/1N9QBYxpgGOKtEeaw7Y3bpQ提取码:o73t②JDK(JDK8+),百度云连接链接:https://pan.baidu.com/s/1BGw-y2sDLeqtA8ZSlf1JZw提取码:08c8

CDH数仓项目(一) —— CDH安装部署搭建详细流程

0说明本文以CDH搭建数据仓库,基于三台阿里云服务器从零开始搭建CDH集群,节点配置信息如下:节点内存安装服务角色chen10216Gcloudera-scm-serverchen1038Gcloudera-scm-agentchen1048Gcloudera-scm-agent上传需要用到的安装包:①CDH安装包,百度云分享如下:链接:https://pan.baidu.com/s/1N9QBYxpgGOKtEeaw7Y3bpQ提取码:o73t②JDK(JDK8+),百度云连接链接:https://pan.baidu.com/s/1BGw-y2sDLeqtA8ZSlf1JZw提取码:08c8

构建新型智能化档案十防一体化管理平台系统

档案馆库房八防温湿度空气质量一体化解决方案  档案库房是档案事业发展的基石,其主要任务是集中保管国家机构及个人等在各种形式下形成的具有一定价值和保存价值的各种载体档案,主要包括文书档案、科技档案、会计档案、人事档案、实物档案等。随着我国经济和社会的发展,档案馆建设正逐步加强,但档案馆库房的环境条件也随着管理需求不断发生变化。因此,有必要建立一套完整的温湿度控制系统,以满足档案馆库房管理需求。针对档案馆库房温湿度控制要求,我们提供一体化解决方案——环境监控系统(HB-V1.0)。通过采用物联网传感器,为档案馆库房温湿度环境提供实时监控,并在发生异常时及时发出预警信号,降低温湿度对档案馆库房造成的

高性能、云原生湖仓一体存储架构探秘

一、湖仓一体存储架构的演进1、存储架构的演进阶段大数据存储系统的演进,分为两个阶段:机房时代和云计算时代。第一个阶段,也是最早Hadoop诞生的时代,这个时代主要以机房的系统为主,HDFS基本上是唯一的存储选型方案。随着云计算的普及和发展,对象存储逐渐成为企业主流的存储方案。尤其是在数据湖架构中,对象存储以其高度可扩展性和对多样化数据类型的支持,成为一种流行的底层存储解决方案。我们将回顾并对比HDFS和对象存储的架构,探讨它们各自的优劣势以及发展趋势。同时也会探讨云原生的数据湖存储架构应该如何设计。如果从本质上去分析HDFS和和对象存储的架构设计,会发现其实是两个完全不一样的存储系统。未来在云

【SQL开发实战技巧】系列(三十三):数仓报表场景☞从不固定位置提取字符串的元素以及搜索满足字母在前数字在后等条件的数据

系列文章目录【SQL开发实战技巧】系列(一):关于SQL不得不说的那些事【SQL开发实战技巧】系列(二):简单单表查询【SQL开发实战技巧】系列(三):SQL排序的那些事【SQL开发实战技巧】系列(四):从执行计划讨论UNIONALL与空字符串&UNION与OR的使用注意事项【SQL开发实战技巧】系列(五):从执行计划看IN、EXISTS和INNERJOIN效率,我们要分场景不要死记网上结论【SQL开发实战技巧】系列(六):从执行计划看NOTIN、NOTEXISTS和LEFTJOIN效率,记住内外关联条件不要乱放【SQL开发实战技巧】系列(七):从有重复数据前提下如何比较出两个表中的差异数据及

【SQL开发实战技巧】系列(三十三):数仓报表场景☞从不固定位置提取字符串的元素以及搜索满足字母在前数字在后等条件的数据

系列文章目录【SQL开发实战技巧】系列(一):关于SQL不得不说的那些事【SQL开发实战技巧】系列(二):简单单表查询【SQL开发实战技巧】系列(三):SQL排序的那些事【SQL开发实战技巧】系列(四):从执行计划讨论UNIONALL与空字符串&UNION与OR的使用注意事项【SQL开发实战技巧】系列(五):从执行计划看IN、EXISTS和INNERJOIN效率,我们要分场景不要死记网上结论【SQL开发实战技巧】系列(六):从执行计划看NOTIN、NOTEXISTS和LEFTJOIN效率,记住内外关联条件不要乱放【SQL开发实战技巧】系列(七):从有重复数据前提下如何比较出两个表中的差异数据及

【SQL开发实战技巧】系列(二十五):数仓报表场景☞结果集中的重复数据只显示一次以及计算部门薪资差异高效的写法以及如何对数据进行快速分组

系列文章目录【SQL开发实战技巧】系列(一):关于SQL不得不说的那些事【SQL开发实战技巧】系列(二):简单单表查询【SQL开发实战技巧】系列(三):SQL排序的那些事【SQL开发实战技巧】系列(四):从执行计划讨论UNIONALL与空字符串&UNION与OR的使用注意事项【SQL开发实战技巧】系列(五):从执行计划看IN、EXISTS和INNERJOIN效率,我们要分场景不要死记网上结论【SQL开发实战技巧】系列(六):从执行计划看NOTIN、NOTEXISTS和LEFTJOIN效率,记住内外关联条件不要乱放【SQL开发实战技巧】系列(七):从有重复数据前提下如何比较出两个表中的差异数据及