草庐IT

数仓建设

全部标签

BIM在智慧城市城市建设中的关键作用

现如今,越来越多的国家已经在其公共基础设施项目中采用和实施建筑信息模型(BIM)技术。例如,英国走在了最前面,其规定所有集中采购的建筑项目必须达到BIMlevel2;芬兰自2002年以来一直在实施BIM;丹麦已要求所有国家客户采用BIM实践;美国也制定了政策,要求某些类别的公共服务项目采用BIM。那么,为什么世界各国都在积极采用BIM?原因很简单,因为BIM促进了所有项目利益相关者之间更好的信息交换,并使从事这些建设项目的团队之间能够进行协作。通过允许在实际项目建设开始之前进行虚拟构建,可以消除信息泄漏并通过防止浪费来控制设计、运营和维护成本。这些功能与优势使得BIM在智慧城市中一样可以发挥巨

如何为可持续的未来建设节能数据中心?

如今,数据中心能耗已成为焦点,因为越来越多的行业正在使用其服务并将在未来继续保持这种趋势。如果在设计数据中心时没有考虑到能源效率和可持续性,从长远来看,它可能会成为财务负担并造成环境问题。根据国际能源署的数据,数据中心使用了全球约1%的能源,并且预计到2025年将消耗全球电力供应的1/5。由于数据中心对大多数企业来说都是必要的,使其节能不仅是一种道德义务,而且还可以显著降低维护成本。然而,对数据中心设计进行小幅调整并遵循最佳实践可以同时提高能源效率并节省成本。接下来,我们将探讨可以提高数据中心的能源效率并显着降低成本的种方法。打造节能数据中心的4种方法基于软件的智能设计大多数专家认为,提高数据

如何为可持续的未来建设节能数据中心?

如今,数据中心能耗已成为焦点,因为越来越多的行业正在使用其服务并将在未来继续保持这种趋势。如果在设计数据中心时没有考虑到能源效率和可持续性,从长远来看,它可能会成为财务负担并造成环境问题。根据国际能源署的数据,数据中心使用了全球约1%的能源,并且预计到2025年将消耗全球电力供应的1/5。由于数据中心对大多数企业来说都是必要的,使其节能不仅是一种道德义务,而且还可以显著降低维护成本。然而,对数据中心设计进行小幅调整并遵循最佳实践可以同时提高能源效率并节省成本。接下来,我们将探讨可以提高数据中心的能源效率并显着降低成本的种方法。打造节能数据中心的4种方法基于软件的智能设计大多数专家认为,提高数据

得物供应链复杂业务实时数仓建设之路

1、背景得物供应链业务是纷繁复杂的,我们既有JIT的现货模式中间夹着这大量的仓库作业环节,又有到仓的寄售,品牌业务,有非常复杂的逆向链路。在这么复杂的业务背后,我们需要精细化关注人货场车的效率和成本,每一单的及时履约情况,要做到这一点我们需要各粒度和维度的数据来支撑我们的精细化管理。1.1业务早期业务早期,业务反馈我们后台管理系统某些报表查询慢。查询代码可知,如下图:这种现象一般表现为:大表JOIN,rdbms不擅长做数据聚合,查询响应慢,调优困难;多表关联,索引优化,子查询优化,加剧了复杂度,大量索引,读库磁盘空间膨胀过快;数据量大,多维分析困难,跨域取数,自助拉到实时数据困难等。一方面原因

得物供应链复杂业务实时数仓建设之路

1、背景得物供应链业务是纷繁复杂的,我们既有JIT的现货模式中间夹着这大量的仓库作业环节,又有到仓的寄售,品牌业务,有非常复杂的逆向链路。在这么复杂的业务背后,我们需要精细化关注人货场车的效率和成本,每一单的及时履约情况,要做到这一点我们需要各粒度和维度的数据来支撑我们的精细化管理。1.1业务早期业务早期,业务反馈我们后台管理系统某些报表查询慢。查询代码可知,如下图:这种现象一般表现为:大表JOIN,rdbms不擅长做数据聚合,查询响应慢,调优困难;多表关联,索引优化,子查询优化,加剧了复杂度,大量索引,读库磁盘空间膨胀过快;数据量大,多维分析困难,跨域取数,自助拉到实时数据困难等。一方面原因

在 KubeSphere 中开启新一代云原生数仓 Databend

​前言Databend是一款完全面向云对象存储的新一代云原生数据仓库,专为弹性和高效设计,为您的大规模分析需求保驾护航。Databend同时是一款符合Apache-2.0协议的开源软件,除了访问云服务(https://app.databend.com/)之外,用户还可以自己部署Databend生产集群以满足工作负载需要。Databend的典型使用场景包括:实时分析平台,日志的快速查询与可视化。云数据仓库,历史订单数据的多维度分析和报表生成。混合云架构,统一管理和处理不同来源和格式的数据。成本和性能敏感的OLAP场景,动态调整存储和计算资源。KubeSphere是在Kubernetes之上构建的

在 KubeSphere 中开启新一代云原生数仓 Databend

​前言Databend是一款完全面向云对象存储的新一代云原生数据仓库,专为弹性和高效设计,为您的大规模分析需求保驾护航。Databend同时是一款符合Apache-2.0协议的开源软件,除了访问云服务(https://app.databend.com/)之外,用户还可以自己部署Databend生产集群以满足工作负载需要。Databend的典型使用场景包括:实时分析平台,日志的快速查询与可视化。云数据仓库,历史订单数据的多维度分析和报表生成。混合云架构,统一管理和处理不同来源和格式的数据。成本和性能敏感的OLAP场景,动态调整存储和计算资源。KubeSphere是在Kubernetes之上构建的

DevOps工具链应该如何建设?

接下来让我们把目光再移向另一个热点平台---DevOps工具链,它之所以成为热点,就是因为越来越多具备不俗研发力量或资源的企业,希望通过平台建设,具备工程化承接数字化需求的能力。企业打算投资建设DevOps工具链之前,需要先明确哪些能力可以采购,哪些需要自己建设;核心的原则当然是,确定性强、标准化程度高的部分尽量采购,企业自身特点与行业差异化大、或有机会成为核心竞争力的部分。首先根据前文“数字化营销&运营平台”的案例里,平台化的过程识别到了三类工具:用户画像、漏斗分析等效率/能力提升工具,用于该领域内一线人员提升执行效率和能力;可视化看板类结果管理工具,用于对该领域内的产出结果进行管理(表现为

DevOps工具链应该如何建设?

接下来让我们把目光再移向另一个热点平台---DevOps工具链,它之所以成为热点,就是因为越来越多具备不俗研发力量或资源的企业,希望通过平台建设,具备工程化承接数字化需求的能力。企业打算投资建设DevOps工具链之前,需要先明确哪些能力可以采购,哪些需要自己建设;核心的原则当然是,确定性强、标准化程度高的部分尽量采购,企业自身特点与行业差异化大、或有机会成为核心竞争力的部分。首先根据前文“数字化营销&运营平台”的案例里,平台化的过程识别到了三类工具:用户画像、漏斗分析等效率/能力提升工具,用于该领域内一线人员提升执行效率和能力;可视化看板类结果管理工具,用于对该领域内的产出结果进行管理(表现为

数据仓库(10)数仓拉链表开发实例

拉链表是数据仓库中特别重要的一种方式,它可以保留数据历史变化的过程,这里分享一下拉链表具体的开发过程。维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的记录,通过拉链表可以很方便的还原出拉链时点的客户记录。这里用商品价格的变化作为例子,具体的开发过程要按实际的来,不能照搬代码,编程重要的是了解背后的思路和原理,而不是ctrl+c和ctrl+v。那对我们学习提升的帮助有限,虽然可能对完成工作的效率帮助很大。在开始介绍之前,这里的数据仓库的环境是HIVE。首先看看原始的数据:商品价格原始数据可以看到,原始的数据是每一个商品,一条记