草庐IT

分布式协同AI基准测试项目Ianvs:工业场景提升5倍研发效率

摘要:全场景可扩展的分布式协同AI基准测试项目Ianvs(雅努斯),能为算法及服务开发者提供全面开发套件支持,以研发、衡量和优化分布式协同AI系统。本文分享自华为云社区《KubeEdge|分布式协同AI基准测试项目Ianvs:工业场景提升5倍研发效率》,作者华为云|郑子木。在边缘计算的浪潮中,AI是边缘云乃至分布式云中最重要的应用。随着边缘设备的广泛使用和性能提升,将人工智能相关的部分任务部署到边缘设备已经成为必然趋势。KubeEdge-Sedna子项目,作为业界首个分布式协同AI框架,基于KubeEdge提供的边云协同能力,支持现有AI类应用无缝下沉到边缘,降低分布式协同机器学习服务构建与部

分布式协同AI基准测试项目Ianvs:工业场景提升5倍研发效率

摘要:全场景可扩展的分布式协同AI基准测试项目Ianvs(雅努斯),能为算法及服务开发者提供全面开发套件支持,以研发、衡量和优化分布式协同AI系统。本文分享自华为云社区《KubeEdge|分布式协同AI基准测试项目Ianvs:工业场景提升5倍研发效率》,作者华为云|郑子木。在边缘计算的浪潮中,AI是边缘云乃至分布式云中最重要的应用。随着边缘设备的广泛使用和性能提升,将人工智能相关的部分任务部署到边缘设备已经成为必然趋势。KubeEdge-Sedna子项目,作为业界首个分布式协同AI框架,基于KubeEdge提供的边云协同能力,支持现有AI类应用无缝下沉到边缘,降低分布式协同机器学习服务构建与部

支持10倍订单增长,携程数据库架构升级实践

一、背景 随着机票订单业务的不断增长,当前订单处理系统的架构已经不能满足日益增长的业务需求,系统性能捉襟见肘,主要体现在以下方面: 数据库CPU资源在业务高峰期经常达到50%以上,运行状况亮起了黄灯; 磁盘存储空间严重不足,需要经常清理磁盘数据腾挪可用空间; 系统扩容能力不足,如果需要提升处理能力只能更换配置更好的硬件资源。 因此我们迫切需要调整和优化机票订单数据库的架构,从而提升订单系统的处理性能。通过建立良好的水平扩展能力,来满足日益增长的业务需求,为后续系统优化和支撑10x订单量的增长打下良好基础。 1、存储架构的演进 我们选择一个新的系统架构,应该基于当下面临的问题,综合成本、风险、收

支持10倍订单增长,携程数据库架构升级实践

一、背景 随着机票订单业务的不断增长,当前订单处理系统的架构已经不能满足日益增长的业务需求,系统性能捉襟见肘,主要体现在以下方面: 数据库CPU资源在业务高峰期经常达到50%以上,运行状况亮起了黄灯; 磁盘存储空间严重不足,需要经常清理磁盘数据腾挪可用空间; 系统扩容能力不足,如果需要提升处理能力只能更换配置更好的硬件资源。 因此我们迫切需要调整和优化机票订单数据库的架构,从而提升订单系统的处理性能。通过建立良好的水平扩展能力,来满足日益增长的业务需求,为后续系统优化和支撑10x订单量的增长打下良好基础。 1、存储架构的演进 我们选择一个新的系统架构,应该基于当下面临的问题,综合成本、风险、收

支持10倍订单增长,携程数据库架构升级实践

一、背景 随着机票订单业务的不断增长,当前订单处理系统的架构已经不能满足日益增长的业务需求,系统性能捉襟见肘,主要体现在以下方面: 数据库CPU资源在业务高峰期经常达到50%以上,运行状况亮起了黄灯; 磁盘存储空间严重不足,需要经常清理磁盘数据腾挪可用空间; 系统扩容能力不足,如果需要提升处理能力只能更换配置更好的硬件资源。 因此我们迫切需要调整和优化机票订单数据库的架构,从而提升订单系统的处理性能。通过建立良好的水平扩展能力,来满足日益增长的业务需求,为后续系统优化和支撑10x订单量的增长打下良好基础。 1、存储架构的演进 我们选择一个新的系统架构,应该基于当下面临的问题,综合成本、风险、收

支持10倍订单增长,携程数据库架构升级实践

一、背景 随着机票订单业务的不断增长,当前订单处理系统的架构已经不能满足日益增长的业务需求,系统性能捉襟见肘,主要体现在以下方面: 数据库CPU资源在业务高峰期经常达到50%以上,运行状况亮起了黄灯; 磁盘存储空间严重不足,需要经常清理磁盘数据腾挪可用空间; 系统扩容能力不足,如果需要提升处理能力只能更换配置更好的硬件资源。 因此我们迫切需要调整和优化机票订单数据库的架构,从而提升订单系统的处理性能。通过建立良好的水平扩展能力,来满足日益增长的业务需求,为后续系统优化和支撑10x订单量的增长打下良好基础。 1、存储架构的演进 我们选择一个新的系统架构,应该基于当下面临的问题,综合成本、风险、收

Crane如何做到利用率提升3倍稳定性还不受损?

作为云平台用户,我们都希望购买的服务器物尽其用,能够达到最大利用率。然而要达到理论上的节点负载目标是很的,计算节点总是存在一些装箱碎片和低负载导致的闲置资源。下图展示了某个生产系统的CPU资源现状,从图中可以看出,浪费主要来自以下几个方面:业务需求与节点可调度资源很难完全匹配,因此在每个节点上都可能剩余一些碎片资源无法被分配出去。业务通常为了绝对稳定,会申请超出自身需求的资源,这会导致业务锁定了资源但事实上未能有效利用。资源用量存在波峰波谷,很多在线业务都是有着规律性的服务高峰和低峰的,如通常白天负载较高,资源用量较大,而夜间在线访问降低,资源用量也会跌入低谷。Crane提供了Request推

Crane如何做到利用率提升3倍稳定性还不受损?

作为云平台用户,我们都希望购买的服务器物尽其用,能够达到最大利用率。然而要达到理论上的节点负载目标是很的,计算节点总是存在一些装箱碎片和低负载导致的闲置资源。下图展示了某个生产系统的CPU资源现状,从图中可以看出,浪费主要来自以下几个方面:业务需求与节点可调度资源很难完全匹配,因此在每个节点上都可能剩余一些碎片资源无法被分配出去。业务通常为了绝对稳定,会申请超出自身需求的资源,这会导致业务锁定了资源但事实上未能有效利用。资源用量存在波峰波谷,很多在线业务都是有着规律性的服务高峰和低峰的,如通常白天负载较高,资源用量较大,而夜间在线访问降低,资源用量也会跌入低谷。Crane提供了Request推

ShardingSphere 异构迁移最佳实践:将3.5亿量级的顾客系统 RTO 减少60倍

ApacheShardingSphere助力当当3.5亿用户量级顾客系统重构,由PHP+SQLServer技术栈无缝转型为Java+ShardingSphere+MySQL,性能、可用性及维护性均得到显著提升,是ShardingSphere异构迁移最佳实践。1 顾客系统背景当当顾客系统主要负责账户的注册、登录、隐私数据维护等功能,历史技术栈为PHP+SQLServer,是标准的集中式架构,如下图。重构项目启动前,顾客系统的数个业务模块存在多个棘手的业务问题和技术挑战,如逻辑分散、吞吐量低及运维成本高等问题。为改善顾客的购物体验,当当技术团队决定对业务逻辑和底层数据架构进行优化,实现顾客系统多场

ShardingSphere 异构迁移最佳实践:将3.5亿量级的顾客系统 RTO 减少60倍

ApacheShardingSphere助力当当3.5亿用户量级顾客系统重构,由PHP+SQLServer技术栈无缝转型为Java+ShardingSphere+MySQL,性能、可用性及维护性均得到显著提升,是ShardingSphere异构迁移最佳实践。1 顾客系统背景当当顾客系统主要负责账户的注册、登录、隐私数据维护等功能,历史技术栈为PHP+SQLServer,是标准的集中式架构,如下图。重构项目启动前,顾客系统的数个业务模块存在多个棘手的业务问题和技术挑战,如逻辑分散、吞吐量低及运维成本高等问题。为改善顾客的购物体验,当当技术团队决定对业务逻辑和底层数据架构进行优化,实现顾客系统多场