导读：本文主要介绍哔哩哔哩在数据湖与数据仓库一体架构下，探索查询加速以及索引增强的一些实践。主要内容包括：什么是湖仓一体架构哔哩哔哩目前的湖仓一体架构湖仓一体架构下，数据的排序组织优化湖仓一体架构下，索引增强与优化的实践探索--01什么是湖仓一体当我们讲湖仓一体时，涉及到数据湖和数据仓库两个概念。什么是数据湖？通常来说，它有以下几个特点：有一个统一的存储系统，所有的数据都放到这个统一的存储系统里，没有数据孤岛。支持任意数据类型，比较自由，包括结构化、半结构化和非结构化的数据。这些不同类型的数据都可以统一放到存储系统里。对于多个计算引擎是开放的，包括实时、离线的分析等，计算引擎很丰富。有比较灵活
TheDataStreamAPIgetsitsnamefromthespecial DataStream classthatisusedtorepresentacollectionofdatainaFlinkprogram.Youcanthinkofthemasimmutablecollectionsofdatathatcancontainduplicates.Thisdatacaneitherbefiniteorunbounded,theAPIthatyouusetoworkonthemisthesame.执行模式（流/批）DataStreamAPI支持不同的运行时执行模式，你可以根据你的用
TheDataStreamAPIgetsitsnamefromthespecial DataStream classthatisusedtorepresentacollectionofdatainaFlinkprogram.Youcanthinkofthemasimmutablecollectionsofdatathatcancontainduplicates.Thisdatacaneitherbefiniteorunbounded,theAPIthatyouusetoworkonthemisthesame.执行模式（流/批）DataStreamAPI支持不同的运行时执行模式，你可以根据你的用
在2022世界人工智能大会（WAIC）上，腾讯云数据库技术负责人程彬为大家分享了数据库与AI相结合背后的故事。在专场《当数据库遇上AI》中，程彬基于腾讯云数据库在AI智能化的探索与实践，剖析数据库与AI融合背后的技术关键点，为产业界提供前沿解决方案。以下为演讲实录：点击观看完整版直播回放线上、线下的朋友们，大家好，我是腾讯云数据库工程师程彬，非常荣幸能够在这个时期跟大家一起交流数据库技术。今天我代表我们团队，和大家一起谈谈AI和数据库结合的技术思考，并结合腾讯云数据库的实战经验分享一下AI工程化落地实践。云数据库面临的新挑战随着数字化转型的深入，越来越多的企业生产从线下到线上，大量的数据存储、
在2022世界人工智能大会（WAIC）上，腾讯云数据库技术负责人程彬为大家分享了数据库与AI相结合背后的故事。在专场《当数据库遇上AI》中，程彬基于腾讯云数据库在AI智能化的探索与实践，剖析数据库与AI融合背后的技术关键点，为产业界提供前沿解决方案。以下为演讲实录：点击观看完整版直播回放线上、线下的朋友们，大家好，我是腾讯云数据库工程师程彬，非常荣幸能够在这个时期跟大家一起交流数据库技术。今天我代表我们团队，和大家一起谈谈AI和数据库结合的技术思考，并结合腾讯云数据库的实战经验分享一下AI工程化落地实践。云数据库面临的新挑战随着数字化转型的深入，越来越多的企业生产从线下到线上，大量的数据存储、
本文分享自华为云社区《【华为云Stack】【大架光临】第7期：湖仓一体天花板，大数据一站式SQL分析技术实践》，作者：华为云HetuEngine首席架构师武文博。（一）背景早在2020年5月华为云全球分析师大会中，华为率先提出“湖仓一体”概念，并落地在华为云FusionInsight智能数据湖解决方案中。其中，HetuEngine河图引擎承担一站式SQL分析引擎角色，使能跨源、跨域的一体化分析落地。基于云原生架构，让“逻辑数据湖”大规模数据融合分析提效50倍，本文将详细阐述HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例。（二）需求和挑战我们调研了上千家客户，对于一站式S
本文分享自华为云社区《【华为云Stack】【大架光临】第7期：湖仓一体天花板，大数据一站式SQL分析技术实践》，作者：华为云HetuEngine首席架构师武文博。（一）背景早在2020年5月华为云全球分析师大会中，华为率先提出“湖仓一体”概念，并落地在华为云FusionInsight智能数据湖解决方案中。其中，HetuEngine河图引擎承担一站式SQL分析引擎角色，使能跨源、跨域的一体化分析落地。基于云原生架构，让“逻辑数据湖”大规模数据融合分析提效50倍，本文将详细阐述HetuEngine在实现一站式SQL分析所面临的挑战、技术架构和案例。（二）需求和挑战我们调研了上千家客户，对于一站式S
摘要：华为LakeFormation是企业级的一站式湖仓构建服务。本文分享自华为云社区《华为云MRS支持LakeFormation能力,打造一站式湖仓，释放数据价值】》，作者：breakDawn。1背景1.1数仓和数据湖的概念数据分析技术在2010~2019年间，以湖仓两层架构技术作为主流被各数据厂商所应用，即大数据数仓+数据湖的技术形式。大数据数仓：出现最早，也最完备，从单机向分布式、智能化发展。例如Hive、华为DWS等数据湖：狭义上的湖主要是云厂商参与，以统一的对象存储底座结合云平台水平扩展的计算资源，让分析以数据为本、让业务快起来。1.2传统湖仓技术的挑战以上技术在多年的实践中，逐步衍
摘要：华为LakeFormation是企业级的一站式湖仓构建服务。本文分享自华为云社区《华为云MRS支持LakeFormation能力,打造一站式湖仓，释放数据价值】》，作者：breakDawn。1背景1.1数仓和数据湖的概念数据分析技术在2010~2019年间，以湖仓两层架构技术作为主流被各数据厂商所应用，即大数据数仓+数据湖的技术形式。大数据数仓：出现最早，也最完备，从单机向分布式、智能化发展。例如Hive、华为DWS等数据湖：狭义上的湖主要是云厂商参与，以统一的对象存储底座结合云平台水平扩展的计算资源，让分析以数据为本、让业务快起来。1.2传统湖仓技术的挑战以上技术在多年的实践中，逐步衍
摘要：对云端用户而言，业务价值发现是最重要的，华为MRS支持LakeFormation后，成功降低了数据应用的成本，帮助客户落地“存”与“算”的管理，加快推进了数智融合进程，更大程度地释放业务数据价值。本文分享自华为云社区《华为云MRS支持lakeformation能力,打造一站式湖仓，释放数据价值》，作者：breakDawn。1背景1.1数仓和数据湖的概念数据分析技术在2010~2019年间，以湖仓两层架构技术作为主流被各数据厂商所应用，即大数据数仓+数据湖的技术形式。大数据数仓：出现最早，也最完备，从单机向分布式、智能化发展。例如Hive、华为DWS等数据湖：狭义上的湖主要是云厂商参与，以
