摘要：计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题，提出MemArtsCC分布式客户端缓存。本文分享自华为云社区《华为云全新缓存生态组件MemArts》，作者：MichaelYun。公有云的基础设施都是基于存算分离的架构，即计算任务运行在计算集群的虚拟机（VirtualMachine,VM）上，而数据存储在远端的对象存储（ObjectStorageService,OBS）集群中。但是，由于远端OBS的数据访问速度限制，VM上的计算任务经常需要等待数据而拖慢任务的执行。计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题，提
随着硬件技术的快速进步，尤其是网络和存储设备的性能迅速提升，以及云计算厂商推动软硬件协同加速的云存储服务，越来越多的企业开始基于云存储来构建数据存储服务，或数据湖，因此就需要单独再建设一个独立的计算层来提供数据分析服务，这也就是存算分离架构（DisaggregatedStorageandComputeArchitecture）。本文介绍存算分离架构。—背景介绍 —ApacheHadoop开启了分布式存储的浪潮，其采用的架构是“存算一体”架构，即在一个集群中实现计算和存储功能，并且为了保证尽量减少横向网络带来的性能损失，计算引擎在设计上采用了“计算贴近存储”的设计，即每个计算任务会选择在对应的数
作者：汤祯捷阿里云智能计算平台团队存算分离、数据湖、在离线混部，这些名词越来越多的出现在各行各业数字化转型的关键活动中。本文仅从大数据产品商业化从业者的视角来探讨与分析大数据领域的存算分离演进过程，核心价值，与相关所产生的蓬勃技术生态。内容来自阿里云计算平台大数据技术商业化思考与实践，与大家共同探讨。一、起源：存算分离不是新架构数据架构起源：以上三张图分别代表过去三十年大规模数据架构演进过程。第一张图是最早的Shared-Disk架构主要是通过独立定制网络NAS于存储架构来实现第一代的存算分离架构，性能好但成本较高,可扩展性较差(ScaleUp)。其中StorageAreaNetwork作为网
作者：汤祯捷阿里云智能计算平台团队存算分离、数据湖、在离线混部，这些名词越来越多的出现在各行各业数字化转型的关键活动中。本文仅从大数据产品商业化从业者的视角来探讨与分析大数据领域的存算分离演进过程，核心价值，与相关所产生的蓬勃技术生态。内容来自阿里云计算平台大数据技术商业化思考与实践，与大家共同探讨。一、起源：存算分离不是新架构数据架构起源：以上三张图分别代表过去三十年大规模数据架构演进过程。第一张图是最早的Shared-Disk架构主要是通过独立定制网络NAS于存储架构来实现第一代的存算分离架构，性能好但成本较高,可扩展性较差(ScaleUp)。其中StorageAreaNetwork作为网
NVIDIAInfiniBand是一种被广泛使用的网络互联技术，基于IBTA(InfiniBandTradeAssociation)而定义的高带宽、低延时、低CPU占用率、大规模易扩展的通信技术，是世界领先的超级计算机的互连首选，为高性能计算、人工智能、云计算、存储等众多数据密集型应用提供了强大的网络性能支撑。通过高速的InfiniBand技术，将业务负载由单机运行转化为基于多机协作的高性能计算集群，并使高性能集群的性能得以进一步释放与优化。GreatSQL是由万里数据库维护的国内自主MySQL分支版本，专注于提升MGR可靠性及性能，支持InnoDB并行查询特性，适用于金融级应用。此次通过对比
NVIDIAInfiniBand是一种被广泛使用的网络互联技术，基于IBTA(InfiniBandTradeAssociation)而定义的高带宽、低延时、低CPU占用率、大规模易扩展的通信技术，是世界领先的超级计算机的互连首选，为高性能计算、人工智能、云计算、存储等众多数据密集型应用提供了强大的网络性能支撑。通过高速的InfiniBand技术，将业务负载由单机运行转化为基于多机协作的高性能计算集群，并使高性能集群的性能得以进一步释放与优化。GreatSQL是由万里数据库维护的国内自主MySQL分支版本，专注于提升MGR可靠性及性能，支持InnoDB并行查询特性，适用于金融级应用。此次通过对比
摘要：计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题，提出MemArtsCC分布式客户端缓存。本文分享自华为云社区《华为云全新缓存生态组件MemArts》，作者：MichaelYun。公有云的基础设施都是基于存算分离的架构，即计算任务运行在计算集群的虚拟机（VirtualMachine,VM）上，而数据存储在远端的对象存储（ObjectStorageService,OBS）集群中。但是，由于远端OBS的数据访问速度限制，VM上的计算任务经常需要等待数据而拖慢任务的执行。计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题，提
摘要：计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题，提出MemArtsCC分布式客户端缓存。本文分享自华为云社区《华为云全新缓存生态组件MemArts》，作者：MichaelYun。公有云的基础设施都是基于存算分离的架构，即计算任务运行在计算集群的虚拟机（VirtualMachine,VM）上，而数据存储在远端的对象存储（ObjectStorageService,OBS）集群中。但是，由于远端OBS的数据访问速度限制，VM上的计算任务经常需要等待数据而拖慢任务的执行。计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问题，提
背景ClickHouse作为开源OLAP引擎，因其出色的性能表现在大数据生态中得到了广泛的应用。区别于Hadoop生态组件通常依赖HDFS作为底层的数据存储，ClickHouse使用本地盘来自己管理数据，官方推荐使用SSD作为存储介质来提升性能。但受限于本地盘的容量上限以及SSD盘的价格，用户很难在容量、成本和性能这三者之间找到一个好的平衡。JuiceFS的某个客户近期就遇到了这样的难题，希望将ClickHouse中的温冷数据从SSD盘迁移到更大容量、更低成本的存储介质，更好地支撑业务查询更长时间数据的需求。JuiceFS是基于对象存储实现并完全兼容POSIX的开源分布式文件系统，同时Juic
背景ClickHouse作为开源OLAP引擎，因其出色的性能表现在大数据生态中得到了广泛的应用。区别于Hadoop生态组件通常依赖HDFS作为底层的数据存储，ClickHouse使用本地盘来自己管理数据，官方推荐使用SSD作为存储介质来提升性能。但受限于本地盘的容量上限以及SSD盘的价格，用户很难在容量、成本和性能这三者之间找到一个好的平衡。JuiceFS的某个客户近期就遇到了这样的难题，希望将ClickHouse中的温冷数据从SSD盘迁移到更大容量、更低成本的存储介质，更好地支撑业务查询更长时间数据的需求。JuiceFS是基于对象存储实现并完全兼容POSIX的开源分布式文件系统，同时Juic
