数据中台相对前台与后台相比数据仓库而言数据仓库以数据为驱动自下而上设计数据中台以业务为驱动自上而下设计数据仓库和传统的数据平台,其出发点为一个支撑性的技术系统,即一定要先考虑我具有什么数据,然后我才能干什么,因此特别强调数据质量和元数据管理;而数据中台的第一出发点不是数据而是业务,一开始不用看你系统里面有什么数据,而是去解决你的业务问题需要什么样的数据服务数仓分层层级说明描述ODS原始数据层存放未经过处理的原始数据至数据仓库系统,结构上与源系统保持一致,是数据仓库的数据准备区。CDM公共维度层存放明细事实数据、维表数据及公共指标汇总数据,其中明细事实数据、维表数据一般根据ODS层数据加工生成;
Dataphin是阿里云旗下智能数据构建与管理的数据中台建设引擎。旨在基于数据中台实践中沉淀的核心方法论和技术体系,提供从数据采,建,管,用的全链路、一站式的大数据能力,以助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。Dataphin的核心价值在于规范数据定义,消除数据二义性,保证业务数据标准化、规范化生产。产生背景在数据急剧增长的情况下,企业面临更多的数据问题:数据不统一,计算逻辑不一致;数据未打通,孤岛现象严重;源系统或业务变更与数据不同步导致维护困难;重复建设导致数据时效性差…针对上述问题,阿里巴巴大数据团队通过自身在数据管理过程中沉淀下的方法论,从实际场景出
我们深知,企业需要一套完善的数据技术与工具,实现数据合规采集、存储、计算、建设和管理,利用数据思维对业务运营与管理场景问题精细洞察,学会利用数据资产改善能效,以此循环往复,推动数据资产的持续沉淀,形成企业特有的数据资产体系。 基于阿里巴巴内部的实践经验和成果,面向不同行业的实际业务场景Dataphin应运而生,作为阿里巴巴统一方法论的工具化沉淀,Dataphin希望能帮助企业探索更加复杂与多样的数据建设之路。 本次内容将以阿里巴巴数据治理的实践和统一数据治理方法论工具化沉淀的Dataphin为核心内容为大家详细介绍。一、数据建设的三个阶段:从在线开发到平台构建到数据综合治理从阿里自身的发展历程