草庐IT

Oracle CloudWorld 2022：重磅推出MySQL湖仓产品-MySQL HeatWave Lakehouse

AIOPS_DBA 2023-03-28 原文
     MySQL HeatWave 是目前唯一一个在单个 MySQL 数据库中融合了 OLTP、OLAP、机器学习和机器学习自动化（Autopilot）的云数据库服务。​

Oracle 在今年的 Cloud World 大会上宣布推出了一个数据库湖仓产品 - MySQL HeatWave Lakehouse。这个产品可以使客户直接处理和查询对象存储中数百 TB 以各种文件格式存储的数据，包括 CSV，Parquet，以及 AWS Aurora 和 Redshift 的备份。以下是 MySQL HeatWave Lakehouse 的架构图。

 

 

MySQL HeatWave Lakehouse 是 MySQL HeatWave 产品组合的最新成员。

MySQL HeatWave 是目前唯一一个在单个 MySQL 数据库中融合了 OLTP、OLAP、机器学习和机器学习自动化（Autopilot）的云数据库服务。

MySQL HeatWave Lakehouse 采用大规模并行横向扩展 MySQL HeatWave 架构，在查询和数据加载方面提供了明显优于竞争对手的性能。此外，Oracle 还宣布了新的 MySQL Autopilot 功能，可提高性能并使 MySQL HeatWave Lakehouse 易于使用。MySQL HeatWave Lakehouse 现在提供 Beta 版供客户试用，并计划在 2023 年第一季度全面上市。

Oracle 首席企业架构师 Edward Screven 表示：“MySQL HeatWave 是多年研究和开发的成果，我们正在将其转化为突破性创新，以应对所有 MySQL 客户面临的更大挑战。事实上，MySQL HeatWave Lakehouse 是今年 MySQL HeatWave 的第三个重大发布。存储在数据库之外的数据有了巨大增长，有了 MySQL HeatWave Lakehouse，客户可以充分利用 HeatWave 的优势，处理对象存储中的数据。MySQL HeatWave 目前在多个云上提供一项集成服务，用于事务处理、跨数据仓库和数据湖的分析，以及无需 ETL 的机器学习。这一组合有助于在性能、自动化和成本方面实现显著改进，也进一步拉开了 MySQL HeatWave 与其他云数据库服务的距离。”

AMD 首席技术官兼执行副总裁 Mark Papermaster 表示：“ 我们很高兴能够继续与 Oracle 开展合作，并支持其新的 MySQL HeatWave Lakehouse 产品。该产品经过优化，可在 AMD EPYC 驱动的 Oracle 云实例上运行，并利用我们处理器中的最新创新。AMD 和Oracle工程团队共同努力，打造了一个令人印象深刻的 MySQL 解决方案，该解决方案可以在单个 MySQL 数据库中为事务处理、分析、机器学习和基于机器学习的自动化提供出色的可扩展性和性能。”

Oracle 还发布了新的 Lakehouse 基准测试，并为 MySQL HeatWave Lakehouse 和 MySQL Autopilot 引入了多项创新功能。

基准测试

基于完全透明、公开可用的 400 TB TPC-H*测试集，主要进行了以下两方面的测试：查询性能和数据加载性能。

查询性能

MySQL HeatWave Lakehouse 的查询速度比 Snowflake 快 17 倍，比 Redshift 快 6 倍。

 

数据加载性能

将数据从对象存储加载到数据库中，MySQL HeatWave Lakehouse 的加载速度比 Redshift 快 8 倍，比 Snowflake 快 2.7 倍。

所有这些基准测试脚本都放到了 GitHub （https://github.com/oracle/heatwave-tpch）上，供客户测试。

Futurum Research 高级分析师兼研究总监 Ron Westfall 表示：“MySQL HeatWave Lakehouse 以极快的速度向之前未知的 400 TB 云数据库基准测试领域发起了一场竞争。” “MySQL HeatWave Lakehouse 是 HeatWave 在处理能力和计算能力方面的一次飞跃：从 32TB 和 64 个节点到 400TB 和 512 个节点，性能和价格都轻松击败了 Amazon Redshift 和 Snowflake。同时，云数据库竞争对手尚未对 MySQL HeatWave 的数据库内融合和多云存在做出反应。他们该如何应对 400 TB MySQL HeatWave Lakehouse 呢？”

MySQL HeatWave Lakehouse 的创新功能

  • 更大数据量，标准 MySQL 语法：客户可以通过 MySQL HeatWave Lakehouse 查询多达 400 TB 的数据，HeatWaw 集群可扩展到 512 个节点。客户可使用标准的 MySQL 语法查询数据。
  • 相同的查询性能和压缩比：MySQL HeatWave 为存储在 MySQL 数据库或对象存储中的数据提供相同的查询性能，10 TB 和 30 TB TPC-H 基准测试结果证明了这一点。此外，实现的压缩比和每个节点可以处理的数据量也是相同的。
  • 支持多种文件格式：借助 MySQL HeatWave Lakehouse，客户可以加载和处理以各种文件格式存储的数据，包括 CSV，Parquet，以及 AWS Aurora 和 Redshift 的备份。这使得客户能够充分利用 MySQL HeatWave 的优势，即使他们的数据没有存储在 MySQL 数据库中。无论数据使用何种文件格式存储，客户始终可获得稳定的查询性能。
  • 支持将对象存储加载后的的数据和 MySQL 中的数据进行关联查询：使用 MySQL HeatWave Lakehouse，客户可以查询存储在 MySQL 数据库中的 OLTP 数据，并将其与存储在对象存储中的数据进行关联查询。对 OLTP 数据所做的任何更改都会实时更新，并反映在查询结果中。

面向 MySQL HeatWave Lakehouse 的新的 MySQL Autopilot 功能

MySQL Autopilot 为 MySQL HeatWave 提供基于机器学习的自动化功能。多项现有的 MySQL Autopilot 功能（如自动配置和自动改进查询计划）针对 MySQL HeatWave Lakehouse 进行了增强，可进一步降低数据库管理开销并提高性能。此外，MySQL HeatWave Lakehouse 还提供了很多新的 MySQL Autopilot 功能。

  • 自动模式推断：Autopilot 可自动推断文件数据的数据类型。因此，客户无需手动为 MySQL HeatWave Lakehouse 查询的每个新文件指定映射，从而节省时间和精力。
  • 自适应数据采样：Autopilot 可智能地对对象存储中的文件进行采样，只需访问很少的数据就能收集准确的统计数据。MySQL HeatWave 会将这些统计信息用来生成和改进查询计划、确定最佳模式映射以及用于其他用途等。
  • 自动加载：Autopilot 会分析数据以预测其加载到 MySQL HeatWave 所需的时间，确定数据类型的映射，并自动生成加载脚本。用户不必手动指定文件到数据库模式和表的映射。
  • 自适应数据流：MySQL HeatWave Lakehouse 可动态适应底层对象存储的性能。因此，MySQL HeatWave 可充分利用底层云基础设施的性能，从而提高整体性能、性价比和可用性。
 

新的 MySQL Autopilot 功能

上述功能是专为 MySQL HeatWave Lakehouse 设计的。除此之外，MySQL Autopilot 还新增了以下功能：

  • 自动预测实例的最佳规格：Autopilot 会基于实例的实际负载推荐最佳规格。有了这个功能，我们可以在满足业务正常需求的情况下，选择最小配置的规格实例，进而有效降低数据库的成本。

  • 自动线程池：自动线程池能感知工作负载。在高并发场景，会智能地对传入的事务进行排队，以避免因等待事务过多而导致的资源争用。这样即使在高并发场景，数据库的吞吐也能保持在一个很稳定的状态。

 

MySQL HeatWave ML 的新功能

MySQL HeatWave ML（机器学习）是 HeatWave 中内置的一个功能，它将 ML 的生命周期完全自动化，并将所有经过训练的模型存储在 MySQL 数据库中，而无需将数据或模型移动到其他机器学习工具或服务中。对于客户来说，通过 SQL 就能进行数据分析和预测，大大降低了机器学习的使用门槛。不仅如此，HeatWave ML 训练的所有模型都是可解释的。 HeatWave ML 提供预测并解释结果，提高可靠性、公平性、信任度和合规性。 例如，如果客户申请贷款或信用卡被拒，可以给出具体的原因。此外，这个功能是完全免费的。下面是 MySQL HeatWave ML 新增的新功能：

  • 支持时间序列预测：用户可以在单列时间序列数据上自动训练和调整预测模型，从而使他们能够预测该变量的未来值。
  • 可以自定义机器学习的各个阶段：包括算法的选择、特征选择、评分指标和解释技术。
  • 可以自定义机器学习模型：允许客户将自定义的机器学习模型导入 HeatWave。

多云部署

MySQL HeatWave 现已支持多个云平台，包括 Oracle 云基础设施（Oracle Cloud Infrastructure, OCI）、AWS 和 Microsoft Azure。对于无法将数据库工作负载迁移到公有云的企业，MySQL HeatWave 可作为 Oracle 专有云本地化解决方案 (Oracle Dedicated Region Cloud@Customer) 的一部分进行本地部署。客户还可以将数据从本地 MySQL 应用复制到 AWS 或 OCI 上的 MySQL HeatWave 中，以获得近实时的分析。

MySQL重磅HeatWaveLakehousemysql数据数据库heatwavelakehouseMySQL数据库yyds干货盘点

有关Oracle CloudWorld 2022：重磅推出MySQL湖仓产品-MySQL HeatWave Lakehouse的更多相关文章

  1. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  2. 神州数码无线产品（AC+AP）配置 - 2

    注意：本文主要掌握DCN自研无线产品的基本配置方法和注意事项，能够进行一般的项目实施、调试与运维AP基本配置命令AP登录用户名和密码均为：adminAP默认IP地址为：192.168.1.10AP默认情况下DHCP开启AP静态地址配置：setmanagementstatic-ip192.168.10.1AP开启/关闭DHCP功能：setmanagementdhcp-statusup/downAP设置默认网关：setstatic-ip-routegeteway192.168.10.254查看AP基本信息：getsystemgetmanagementgetmanaged-apgetrouteAP配

  3. 阿里云RDS——产品系列概述 - 2

    基础版云数据库RDS的产品系列包括基础版、高可用版、集群版、三节点企业版，本文介绍基础版实例的相关信息。RDS基础版实例也称为单机版实例，只有单个数据库节点，计算与存储分离，性价比超高。说明RDS基础版实例只有一个数据库节点，没有备节点作为热备份，因此当该节点意外宕机或者执行重启实例、变更配置、版本升级等任务时，会出现较长时间的不可用。如果业务对数据库的可用性要求较高，不建议使用基础版实例，可选择其他系列（如高可用版），部分基础版实例也支持升级为高可用版。基础版与高可用版的对比拓扑图如下所示。优势 性能由于不提供备节点，主节点不会因为实时的数据库复制而产生额外的性能开销，因此基础版的性能相对于

  4. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

    我看到其他人也遇到过类似的问题，但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录，因为我已经检查过它存在。thread.h文件存在，但不在ruby​​目录中。相反，它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

  5. ruby - 如何使用 ruby​​ mysql2 执行事务 - 2

    我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作，比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中，这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi

  6. ruby-on-rails - 2个用户之间的产品订单 - 2

    我有三个模型:User、Product、Offer以及这些模型之间的关系问题。场景:用户1发布了一个产品用户2可以向用户1发送报价，例如10美元用户1可以接受或拒绝提议我现在的问题是:用户、产品和报价之间的正确关系是什么？我如何处理那些“接受或拒绝”操作？是否有更好的解决方案？用户模型:classUser:productsend产品型号:classProduct:usersend提供模型:classOffer提前致谢:)编辑:我正在使用Rails3.2.8 最佳答案 警告:小小说来了第1部分:设置关联我建议阅读Railsguideo

  7. 映宇宙2022年营收63亿元：同比下降三成，毛利率提升4.3个百分点 - 2

    3月26日，映宇宙（HK:03700，即“映客”）发布截至2022年12月31日的2022年度业绩财务报告。财报显示，映宇宙2022年的总营收为63.19亿元，较2021年同期的91.76亿元下降31.1%。2022年，映宇宙的经营亏损为4698.7万元，2021年同期则为净利润4.57亿元；期内亏损（净亏损）为1.68亿元，2021年同期的净利润为4.33亿元；非国际财务报告准则经调整净利润为3.88亿元，2021年同期为4.82亿元，同比下降19.6%。 映宇宙在财报中表示，收入减少主要是由于行业竞争加剧，该集团对旗下产品采取更为谨慎的运营策略以应对市场变化。不过，映宇宙的毛利率则有所提升

  8. 常见网络安全产品汇总（私信发送思维导图） - 2

    安全产品安全网关类防火墙Firewall防火墙防火墙主要用于边界安全防护的权限控制和安全域的划分。防火墙•信息安全的防护系统，依照特定的规则，允许或是限制传输的数据通过。防火墙是一个由软件和硬件设备组合而成，在内外网之间、专网与公网之间的界面上构成的保护屏障。下一代防火墙•下一代防火墙，NextGenerationFirewall，简称NGFirewall，是一款可以全面应对应用层威胁的高性能防火墙，提供网络层应用层一体化安全防护。生产厂家•联想网御、CheckPoint、深信服、网康、天融信、华为、H3C等防火墙部署部署于内、外网编辑额，用于权限访问控制和安全域划分。UTM统一威胁管理（Un

  9. ruby - 对回文产品问题感到困惑 - 2

    我一直在学习Ruby，所以我想我应该尝试一下项目中的一些Euler难题。尴尬的是，我只完成了问题4...问题4如下:Apalindromicnumberreadsthesamebothways.Thelargestpalindromemadefromtheproductoftwo2-digitnumbersis9009=91×99.Findthelargestpalindromemadefromtheproductoftwo3-digitnumbers.所以我想我会在嵌套的for循环中从999循环到100并测试回文，然后在找到第一个(应该是最大的)时跳出循环:final=nilrang

  10. ruby-on-rails - 当我通过 rvm 使用 rails3 时，如何在 ubuntu 上安装 mysql2 gem？ - 2

    我正在尝试绕过rails配置这个极其复杂的迷宫。到目前为止，我设法在ubuntu上设置了rvm(出于某种原因，ruby在ubuntu存储库中已经过时了)。我设法建立了一个Rails项目。我希望我的测试项目使用mysql而不是mysqlite。当我尝试“rakedb:migrate”时，出现错误:“!!!缺少mysql2gem。将其添加到您的Gemfile:gem'mysql2'”当我尝试“geminstallmysql”时，出现错误，告诉我需要为安装命令提供参数。但是，参数列表很大，我不知道该选择哪些。如何通过在ubuntu上运行的rvm和mysql获取rails3？谢谢。

随机推荐