草庐IT

透视华为云云原生数据库的前世今生及未来演进,能给行业带来哪些启发?

华为云开发者社区 2023-03-28 原文
摘要:通过云服务形式提供数据库功能的云数据库应运而生,但这还仅仅是数据库变革的开端。

本文分享自华为云社区《透视华为云云原生数据库的前世今生及未来演进,能给行业带来哪些启发?》,作者:万佳。

自云计算出现后,风云变幻十余载,硬件、软件行业都经历了重构变革所带来的机遇与激荡。企业 IT 基础设施逐渐云化,应用转向云端,系统架构也经历了从单体到微服务再到 Serverless 架构的演进。这些变化一方面为用户提供了更优秀的特性,另一方面也对云计算的组件提出更高要求。大势的裹挟之下,数据库作为云计算关键技术和最基础的服务之一,同样需要不断进化以适应日新月异的场景需求。自此,通过云服务形式提供数据库功能的云数据库应运而生,但这还仅仅是数据库变革的开端。

云数据库进一步演进:云原生数据库诞生

相比传统数据库,云数据库确有一定的进步,但是其本质上并非针对云场景或云环境来设计和构建的,只是用到了云的资源,因此存在一些局限,比如资源利用率低、维护成本高、可用性低等,从而限制了业务发展。随着云计算深入发展,云计算步入云原生时代。同时,越来越多企业加速数字化转型,业务对数据的诉求不断提升,倒逼着云数据库进一步演进,更加适应云特性的云原生数据库就此诞生。云原生数据库的目标主要是充分利用云基础设施的资源弹性调度实现数据库资源的极致弹性伸缩、数据就近访问、多模兼容,让用户专注在业务创新,而不用在数据库管理和运维层面耗费资源。云原生数据库的这些优势,受到越来越多企业的欢迎,而且热度不断攀升,已经成为数据库行业的重要发展趋势之一。

云原生数据库缘何兴起

为什么云原生数据库这么火?在华为云数据库软件总工程师彭立勋看来,第一,传统数据库的使用门槛相对较高。以前,数据库主要是本地部署(On-Premises),从采购机器、规划容量到部署软件,整个过程非常复杂。他说:“有了云计算,尤其是云原生数据库出现后,正好遇上企业数字化转型,对数据库的需求增加,而云原生数据库可以开箱即用,不用像以前那样做大量规划、采购和部署等。”

第二,云原生数据库能满足企业对数据库弹性伸缩的需求。而传统的做法是靠 DBA 规划,这很容易出现问题。对此,彭立勋深有感触,他以前做 DBA 时,要对容量做很精细的规划。如果规划没做对的话,要么浪费资源,要么性能不足,然后还要重新调整。

第三,云原生数据库可以从技术上解决传统数据库面临的资源、性能和扩展性受限等问题。传统上,这些问题要靠 DBA 不断提升自己的技术能力去解决。他表示,云原生数据库出现后,云服务商提供的相应产品本身就具备这样的能力,因此对企业来说,数据库的使用门槛大大降低。所以,在进行数字化转型时,很多企业倾向于选择云原生数据库。从传统数据库到云原生数据库,这是数据库自身的演进。更重要的是,数据库演进的背后折射出企业业务的变化。

据彭立勋介绍,首先,从以资源为中心到以应用为中心。从企业视角出发,它一定有一些自身需求,比如要求资源能弹性扩展。以前,缺乏这种技术时,企业主要是以资源为中心,有多少资源配多少数据库,然后再根据资源的表现和负载情况进行调整。云原生数据库出现后,从以资源为中心转变成以应用为中心,通过技术手段让用户使用更简单。企业只管用数据库,不用管背后到底需要多少资源。如果资源不够,系统自动帮你扩展,或者用户手动进行弹性扩展,速度更快、效率更高。并且,企业无需像以前那样预先规划资源,直接自动或手动调整资源即可。

其次,从以地域为中心到以流量为中心。以前,数据在哪,应用就要布置在哪,或者说应用在哪,数据也要同步到哪,这是以地域为中心。为了给用户提供最快访问,企业往往需要在各地设置数据中心,然后通过各种方法把数据同步到用户就近访问的地方。基于云原生数据库,企业只需要关注流量从哪里来,用户从哪里访问,数据库会将数据分布到不同的 Region,应用就近、随时随地访问数据。彭立勋表示:“应用在哪,数据库帮你把数据往哪同步。对用户来说,全球是一张网。”

最后,从以负载为中心到以数据为中心。传统上,不同的负载要放在不同的数据库里,比如报表、分析类的会放在一种数据库里,文档或键值类的放在另一种数据库。云原生数据库出现后,用户不同的负载由云服务商在后端适配不同的数据库实例,或者帮用户做同步,将数据放到适合做相应查询的数据库里。不管用户使用什么类型的负载和数据模型,都由云服务商帮用户判断。

“比如偏 OLAP 的,我们把它转到适合 OLAP 的数据查询的节点上。简单说,华为云云原生数据库改变了用户习惯,让用户对数据库的使用变得没有那么复杂。”他补充道。

此外是商业模式的改变。传统数据库是基于授权来获取商业收入,企业在使用数据库前要先购买 license。如果预估不准,企业采购的 license 就会存在浪费或不足的情况。而云原生数据库是以云服务的方式提供给用户,按需使用,用多少资源、使用多长时间,相应的为使用资源付费。

云原生数据库命中企业痛点,最大挑战不在技术

基于长期的行业观察,彭立勋总结出云原生数据库的价值。首先,云原生数据库开箱即用,使用简单,用户只要购买云原生数据库的服务,就可以直接使用。同时,按需使用,需要多少资源,用户就购买多少资源,一旦资源不够,还能快速扩容。这大大降低了企业使用数据库的门槛,减少企业在数据库部署等基础运维和管理上的人力投入。

其次,对数据库人员来说,不用关注最底层的运维问题,可以更靠近业务,关注数据处理等更有价值的问题。如此,不仅可以提升数据库人员的能力,而且能给企业带来更大的价值。

然后,云服务商将整个技术打包成服务,提供给所有用户,这让一些中小企业能像大企业一样使用相同的云原生数据库服务,享受技术带来的红利。此外,云原生数据库可以让企业应用系统更高效快捷地处理数据,充分发挥数据的价值。彭立勋解释道,“以前,中小企业可能没有那么多资源部署数据挖掘和分析。而现在采用 华为云云原生数据库后,它提供 HTAP 混合负载的能力。这样,中小企业也可以做一些轻量级的数据分析,挖掘数据中的价值,让企业更专注在业务创新上。”

目前,虽然云原生数据库很火,但是企业在采用过程中依然存在挑战。在彭立勋看来,很多企业从传统的商业数据库向云原生数据库迁移时,最大的挑战倒不是技术本身,而是很多的技术人员还是从传统数据库的角度出发,利用传统数据库的思维和积累的经验,来使用云原生数据库。

他强调,云原生数据库并非简单地把传统数据库搬到云上,它对数据库进行了全面重构,充分利用了云的能力,带来一些新优势。所以,如果还是按照传统数据库的使用习惯和思维模式,将无法发挥云原生数据库的优势,甚至可能会增加其使用成本。当然,对企业而言,是否采用云原生数据库,它需要根据具体业务进行判断。

从业务角度看,云原生数据库更适合偏互联网型的业务,诸如电商、社交、文娱、游戏、车联网等。偏互联网型的业务非常敏感,变化快,业务体量的弹性非常大。以游戏为例,一款游戏在突然火爆后,游戏公司需要在短时间内弹性扩展整个系统处理能力。而一款游戏进入收缩期后,需要快速收缩资源、节省成本。这类变化非常快的业务会对数据库的性能、弹性伸缩、快速部署等提出很高的要求,这恰恰是云原生数据库的优势所在。无论是什么样的企业,只要是偏这种类型的业务,都非常适合使用云原生数据库。

云原生数据库未来将如何发展

从星星之火到燎原之势,在数据库领域,云原生数据库蔚然成风,风起云涌之后的云原生数据库又将怎样演进、驶向何方?

在华为云看来,“以客户为中心,解决客户最关注的问题”是接下来云原生数据库发展演进的关键。基于此,华为云提出云原生数据库的三大发展方向:Serverless、Regionless 和 Modeless,这也成为 华为云云原生数据库 的发展指南。

彭立勋说:“客户最关注的几个问题,一是资源调度,二是数据访问,三是使用体验。现在,越来越多的客户希望聚焦业务,聚焦于挖掘数据的价值,而非聚焦做一个具体的技术,因为对大部分有这种业务的企业来说,它并非一家做 IT 技术的企业,它关注的是自己所在领域的业务。所以,针对这几个方面,我们提出 Serverless、Regionless 和 Modeless 三大发展方向。”

具体说来,Serverless 要解决资源调度问题,实现资源的极致弹性。在遭遇故障、规格变更时,整个资源弹性调度速度可以从分钟级缩短到秒级,这样对用户来说,真正的无感知;Regionless 是解决用户的数据访问,数据库全域可用,业务可以在任意地方进行接入和访问,同时带来跨地域的高可用,用户只需关注业务的数据流动而不用担心业务的跨地域部署和访问;Modeless 要解决的是使用体验,一个统一入口能智能地处理各种类型的负载,不管是交易型、分析型、 NoSQL模型、 MySQL 模型,我们以统一入口,提供给用户,提升用户的易用性和效率。

当然,Serverless、Regionless 和 Modeless 的落地应用还需要更具体的技术支撑。Serverless 方向,华为云云原生数据库在三个能力上重点投入,分别是 ALT、AST、ATC。首先是通过 ALT 应用无损透明倒换框架(Application Lossless and Transparent)实现应用层对底层调度倒换的无感知,当用户进行主备切换、小版本升级或者规格变更时,系统可以打包用户的会话上下文状态,在达到安全的事务边界后,确保会话上下文状态被完整重放至目标节点并与原会话一一关联保证业务持续性,不受各种操作的影响。

其次是通过 AST 应用弹性透明调度框架(Application Scaling Transparent)满足根据负载智能调度实例的需求,AST 融合了一些 AI 的能力,能够根据客户负载情况生成模型预测,从而以更精确的方式,提前扩缩资源。

最后是通过 ATC 应用透明集群(Application Transparent Cluster)实现读写能力的横向透明扩展。

Regionless 方向,华为云云原生数据库会重点聚焦于全域分层式引擎、全域数据总线(Global Dataflow Bus )和全域一致性集群三个方面。彭立勋认为, Regionless 首先要实现的便是低成本跨越存储,不同的数据中心的存储成本是不一样的,从成本角度考虑,最合理的方式就是将客户不常用的或者对时间不敏感的资源,放到一些比较低成本的地域, 华为云云原生数据库的全域分层式引擎就是为了实现这个诉求;同时,要为所有的数据提供就近访问、跨域访问的数据分布,还需要有一个全域的数据总线(Global Dataflow Bus),它能让用户在不同的 Region 之间按需复制数据,接下来还将根据数据的访问频次更加智能地判断、精细化调度;此外,面向数据全球化的场景,华为云云原生数据库也在投入全域一致性集群方面的研发,利用类似全球转发的技术,去实现用户不管从全球哪里接入,所看到的数据都是一致的。

彭立勋称:“最终我们要达到的目的是通过 Regionless 实现全球数据多活、故障自动再倒换、本地数据就近访问、全域数据分层的低成本存储。”

Modeless 方向,一方面华为云云原生数据库充分利用软硬件结合的优势,去高效处理不同类型的查询,比如数据并行查询 NDPQ 技术;另一方面推出了 HTAP 混合负载查询能力,它能够为用户同时提供一个一致性的行存和列存,给用户提供两种数据模型,通过优化器的智能调度,就能判断用户到底是适合哪一种数据模型,然后再从相应的数据引擎中把数据抽出来,实现快速访问;除此之外,针对多种模型混合的业务,华为云云原生数据库正在规划多模一体化的模型处理与转换总线,最终实现一个接口满足所有模型。

写在最后

毫无疑问,云原生数据库逐渐成为数据库行业的“宠儿”。它的流行代表着云原生发展的深化,更反映出数字化转型背景下,企业对数据库的诉求和态度。技术的巨轮滚滚向前,条条大路的尽头,终归是用户的需求,核心都是帮助用户优先解决业务问题,从而走上业务发展的快车道。作为国内云原生数据库的代表之一,华为云云原生数据库的实践和探索正是基于华为云多年来对用户需求洞察的结果而展开的,如何真正做到以客户为中心,解决客户最关注的问题,是华为云数据库求索的方向,也是值得全行业去思考的话题,由此,将可能再一次迸发出改变世界的力量。

 

点击关注,第一时间了解华为云新鲜技术~

有关透视华为云云原生数据库的前世今生及未来演进,能给行业带来哪些启发?的更多相关文章

  1. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  2. 华为常用命令 - 2

    system-view进入系统视图quit退到系统视图sysname交换机命名vlan20创建vlan(进入vlan20)displayvlan显示vlanundovlan20删除vlan20displayvlan20显示vlan里的端口20Interfacee1/0/24进入端口24portlink-typeaccessvlan20把当前端口放入vlan20undoporte1/0/10删除当前VLAN端口10displaycurrent-configuration显示当前配置02配置交换机支持TELNETinterfacevlan1进入VLAN1ipaddress192.168.3.100

  3. 华为OD机试真题 C++ 实现【带传送阵的矩阵游离】【2023 Q2 | 200分】 - 2

            所有题目均有五种语言实现。C实现目录、C++实现目录、Python实现目录、Java实现目录、JavaScript实现目录题目n行m列的矩阵,每个位置上有一个元素你可以上下左右行走,代价是前后两个位置元素值差的绝对值.另外,你最多可以使用一次传送阵(只能从一个数跳到另外一个相同的数)求从走上角走到右下角最少需要多少时间。输入描述:第一行两个整数n,m,分别代表矩阵的行和列。后面n行,每行m个整数,分别代表矩阵中的元素。输出描述:一个整数,表示最少需要多少时间。

  4. 西安华为OD面试体验 - 2

    西安华为OD面试体验开始投简历技术面试进展工作进展开始投简历去年一整年一直在考研和工作之间纠结,感觉自己的状态好像当时的疫情一样差劲。之前刚毕业的时候投了个大厂的简历,结果一面写算法的时候太拉跨了,虽然知道时dfs但是代码熟练度不够,放在平时给足时间自己可以调试通过,但是熟练度不够那面试当时就写不出来被刷了。说真的算法学到后期我感觉最重要的是熟练度和背板子(对于我这种普通玩家来说),面试题如果一上来短时间内想不出思路就完蛋了。然后由于当时找的工作不是很理想就又想考研了。但是考研是有风险的,我自我感觉自己可能冲不上那个学校,而找工作一个没成可以继续找嘛。本着抱着试试看的态度在boss上投了简历,

  5. 华为ensp详细安装包、安装教程及所遇问题 - 2

    目录一、安装包链接二、安装详细步骤1.安装Wireshark和WinPcap2.安装OracleVMVirtualBox3.安装ensp三、安装后注册四、启动路由器出现40错误怎么解决一、安装包链接二、安装详细步骤链接:https://pan.baidu.com/s/1QbUUYMOMIV2oeIKHWP1SpA?pwd=xftx提取码:xftx1.安装Wireshark和WinPcap找到Wireshark安装包所在文件夹,双击它,按照以下步骤安装。2.安装OracleVMVirtualBox找到OracleVMVirtualBox安装包所在文件夹,双击它,按照以下步骤安装。注:可自定义安装

  6. 中润光学在科创板IPO过会:拟募资4亿元,张平华为实际控制人 - 2

    近日,上海证券交易所科创板披露的信息显示,嘉兴中润光学科技股份有限公司(下称“中润光学”)获得上市委会议通过。这意味着,中润光学的上市之路获得实质性进展,接下来将提交注册。据贝多财经了解,中润光学的招股书于2022年5月20日获得科创板受理,5个月后便获得上市委会议通过,进度不可谓不快。本次冲刺科创板上市,中润光学拟募资4.05亿元,计划用于高端光学镜头智能制造项目、高端光学镜头研发中心升级项目等。天眼查信息显示,中润光学成立于2012年8月,是一家以从事非金属矿物制品业为主的企业。当前,该公司的注册资本为6600万元,法定代表人为张平华。穿透股权可知,张平华也是该公司的实际控制人。据招股书介

  7. 阿里云,华为云,腾讯云三大公有云厂商,香港地区主机测评 - 2

    三大公有云厂商,香港地区主机测评一、ping时延比对(厦门电信本地测试):Ping时延测试腾讯云阿里云华为云延迟率最低时延44ms,最高72ms,平均46ms47.242段:最低时延59ms,最高204ms,平均107ms最低时延45ms,最高93ms,平均47ms丢包率丢包率小有的ip段丢包率较大每个段都会有概率丢包阿里云:47.242段:最低时延59ms,最高204ms,平均107ms,有的ip段丢包率较大8.210段:最低时延64ms,最高232ms,平均119ms,丢包率较好腾讯云:最低时延44ms,最高72ms,平均46ms,丢包率小华为云:最低时延45ms,最高93ms,平均47m

  8. 华为认证的网络工程师证好考吗,含金量高吗 ? - 2

    华为认证分等级的,相当于初中高三个等级,当然高级是比较难考的,也是含金量最高的。我就慢慢给你介绍一下。1.了解华为认证华为认证网络工程师是由华为公司认证与采购部推出的独立认证体系,与之前的华为认证不同,简称HCIA。同时华为认证是华为技术有限公司凭借多年信息通信技术人才培养经验,以及对行业发展的理解,以层次化的职业技术认证为指引,推出的覆盖IP、IT、CT以及ICT融合技术领域的认证体系,是ICT全技术领域认证体系。​2.怎么考取华为认证网络工程师?要考取华为认证网络工程师必须选择最近的Prometric授权考试中心APTC报名并参加GB0-190的考试,考试通过后,以获得由华为统一签发的“华

  9. 华为静态NAT、动态NAT、PAT端口复用 - 2

    一、网络环境及TOP1.1R1相当于内网的一台PC, IP:192.168.1.10 网关为 192.168.1.254[R1]iproute-static0.0.0.00192.168.1.254#R1配置默认路由(网关)1.2R2为出口路由器,分别连接内网R1及外网R31)R2 内网接口IP:192.168.1.2542)R2外网接口IP:100.1.1.102)R2NAT地址为:100.1.1.11-100.1.1.14二、静态NAT配置1.1静态NAT(一对一双向)R2配置静态NAT,将公网IP100.1.1.11映射到内网R1 192.168.1.10[R2]intg0/0/1[R2

  10. 【华为OD技术面试 | 真八股 】MySQL联合索引,谈springIOC的理解,谈springAOP的理解,Erika和zookeeper等问题 - 2

    文章目录华为OD面试流程1.mysql数据库建了两个字段,且设置了联合索引,如果其中有一个字段为空会出现什么问题?2.谈谈springIOC的理解,有什么好处,解决了什么问题3.谈谈springAOP的理解,切面编程有没有实际应用,有哪些注解,作用是什么,有那些应用场景?4.Erika和zookeeper有了解过吗,作用是什么,主要解决了什么问题5.谈谈JDK、JRE、JVM的理解,区别是什么6.谈谈对泛型的理解7.JVM的组成华为OD面试流程机试:三道算法题,关于机试,橡皮擦已经准备好了各语言专栏,可以直接订阅。性格测试:机试技术一面(本专栏核心)技术二面(本专栏核心)主管面试定级定薪发of

随机推荐