前言本文隶属于专栏《大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据理论体系WHAT湖仓一体（Lakehouse）是一种新的大数据存储架构，结合了数据仓库和数据湖的最佳功能。关于数据仓库请参考我的这篇博客——数据仓库是什么？关于数据湖请参考我的这篇博客——什么是数据湖？为什么需要数据湖？湖仓一体为你的所有数据（结构化、半结构化和非结构化）提供单一的存储库，同时可以实现机器学习、商业智能（BI）和实时计算等功能。关于BI请参考我的这篇博客——什么是商业智能（BI）？优缺点湖仓一体的优点湖仓一体架构将数据仓库的数据结构和
前言本文隶属于专栏《大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见大数据理论体系WHAT湖仓一体（Lakehouse）是一种新的大数据存储架构，结合了数据仓库和数据湖的最佳功能。关于数据仓库请参考我的这篇博客——数据仓库是什么？关于数据湖请参考我的这篇博客——什么是数据湖？为什么需要数据湖？湖仓一体为你的所有数据（结构化、半结构化和非结构化）提供单一的存储库，同时可以实现机器学习、商业智能（BI）和实时计算等功能。关于BI请参考我的这篇博客——什么是商业智能（BI）？优缺点湖仓一体的优点湖仓一体架构将数据仓库的数据结构和
LAS服务是什么？LAS有哪些优化特性？本文将从基础概念、数据库内核特性优化、数据服务化、业务实践等角度全方位介绍湖仓一体架构在LAS的探索与实践。LAS服务是什么？在了解Las服务是什么之前，先来了解一下数据平台整体行业的发展趋势，大概分为三个阶段。第一阶段，一般被称为传统数仓，一种从1980年开始的基于传统数据库技术来做的BI分析场景。在这种架构下，通常计算和存储是高度一体的。整体系统能支撑的计算能力，依赖于服务提供商的硬件配置，整体成本高，存在物理上限，扩展起来比较麻烦。第二阶段，随着技术的演进，2010年开始出现了以Hadoop技术体系为主流的传统数据湖。在以Hadoop技术为主的数据
LAS服务是什么？LAS有哪些优化特性？本文将从基础概念、数据库内核特性优化、数据服务化、业务实践等角度全方位介绍湖仓一体架构在LAS的探索与实践。LAS服务是什么？在了解Las服务是什么之前，先来了解一下数据平台整体行业的发展趋势，大概分为三个阶段。第一阶段，一般被称为传统数仓，一种从1980年开始的基于传统数据库技术来做的BI分析场景。在这种架构下，通常计算和存储是高度一体的。整体系统能支撑的计算能力，依赖于服务提供商的硬件配置，整体成本高，存在物理上限，扩展起来比较麻烦。第二阶段，随着技术的演进，2010年开始出现了以Hadoop技术体系为主流的传统数据湖。在以Hadoop技术为主的数据
导读：本文主要介绍哔哩哔哩在数据湖与数据仓库一体架构下，探索查询加速以及索引增强的一些实践。主要内容包括：什么是湖仓一体架构哔哩哔哩目前的湖仓一体架构湖仓一体架构下，数据的排序组织优化湖仓一体架构下，索引增强与优化的实践探索--01什么是湖仓一体当我们讲湖仓一体时，涉及到数据湖和数据仓库两个概念。什么是数据湖？通常来说，它有以下几个特点：有一个统一的存储系统，所有的数据都放到这个统一的存储系统里，没有数据孤岛。支持任意数据类型，比较自由，包括结构化、半结构化和非结构化的数据。这些不同类型的数据都可以统一放到存储系统里。对于多个计算引擎是开放的，包括实时、离线的分析等，计算引擎很丰富。有比较灵活
导读：本文主要介绍哔哩哔哩在数据湖与数据仓库一体架构下，探索查询加速以及索引增强的一些实践。主要内容包括：什么是湖仓一体架构哔哩哔哩目前的湖仓一体架构湖仓一体架构下，数据的排序组织优化湖仓一体架构下，索引增强与优化的实践探索--01什么是湖仓一体当我们讲湖仓一体时，涉及到数据湖和数据仓库两个概念。什么是数据湖？通常来说，它有以下几个特点：有一个统一的存储系统，所有的数据都放到这个统一的存储系统里，没有数据孤岛。支持任意数据类型，比较自由，包括结构化、半结构化和非结构化的数据。这些不同类型的数据都可以统一放到存储系统里。对于多个计算引擎是开放的，包括实时、离线的分析等，计算引擎很丰富。有比较灵活
本文分享自华为云社区《【华为云Stack】【大架光临】第7期：湖仓一体天花板，大数据一站式SQL分析技术实践》，作者：华为云HetuEngine首席架构师武文博。（一）背景早在2020年5月华为云全球分析师大会中，华为率先提出“湖仓一体”概念，并落地在华为云FusionInsight智能数据湖解决方案中。其中，HetuEngine河图引擎承担一站式SQL分析引擎角色，使能跨源、跨域的一体化分析落地。基于云原生架构，让“逻辑数据湖”大规模数据融合分析提效50倍，本文将详细阐述HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例。（二）需求和挑战我们调研了上千家客户，对于一站式S
本文分享自华为云社区《【华为云Stack】【大架光临】第7期：湖仓一体天花板，大数据一站式SQL分析技术实践》，作者：华为云HetuEngine首席架构师武文博。（一）背景早在2020年5月华为云全球分析师大会中，华为率先提出“湖仓一体”概念，并落地在华为云FusionInsight智能数据湖解决方案中。其中，HetuEngine河图引擎承担一站式SQL分析引擎角色，使能跨源、跨域的一体化分析落地。基于云原生架构，让“逻辑数据湖”大规模数据融合分析提效50倍，本文将详细阐述HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例。（二）需求和挑战我们调研了上千家客户，对于一站式S
摘要：华为LakeFormation是企业级的一站式湖仓构建服务。本文分享自华为云社区《华为云MRS支持LakeFormation能力,打造一站式湖仓，释放数据价值】》，作者：breakDawn。1背景1.1数仓和数据湖的概念数据分析技术在2010~2019年间，以湖仓两层架构技术作为主流被各数据厂商所应用，即大数据数仓+数据湖的技术形式。大数据数仓：出现最早，也最完备，从单机向分布式、智能化发展。例如Hive、华为DWS等数据湖：狭义上的湖主要是云厂商参与，以统一的对象存储底座结合云平台水平扩展的计算资源，让分析以数据为本、让业务快起来。1.2传统湖仓技术的挑战以上技术在多年的实践中，逐步衍
摘要：华为LakeFormation是企业级的一站式湖仓构建服务。本文分享自华为云社区《华为云MRS支持LakeFormation能力,打造一站式湖仓，释放数据价值】》，作者：breakDawn。1背景1.1数仓和数据湖的概念数据分析技术在2010~2019年间，以湖仓两层架构技术作为主流被各数据厂商所应用，即大数据数仓+数据湖的技术形式。大数据数仓：出现最早，也最完备，从单机向分布式、智能化发展。例如Hive、华为DWS等数据湖：狭义上的湖主要是云厂商参与，以统一的对象存储底座结合云平台水平扩展的计算资源，让分析以数据为本、让业务快起来。1.2传统湖仓技术的挑战以上技术在多年的实践中，逐步衍
