草庐IT

高吞吐

全部标签

如何使用内存中副本提高矢量数据库的读取吞吐量

译者|李睿审校 |孙淑娟在正式发布之后,Milvus2.1增加了许多新功能,例如内存副本、支持字符串数据类型、嵌入式Milvus、可调一致性、用户身份验证和传输中的加密,以提供便利和更好的用户体验。虽然内存中副本的概念对于分布式数据库来说并不新鲜,但它是一个关键功能,可以帮助用户轻松提高系统性能、提高数据库读取吞吐量,并提高硬件资源的利用率。因此,本文首先解释了内存中的副本是什么以及为什么它很重要的原因,然后介绍了如何在人工智能的矢量数据库Milvus中启用这一新功能。 与内存中副本相关的概念 在了解内存中副本是什么以及为什么这么重要之前,需要先了解一些相关概念,其中包括副本组、分片副本、流副

如何使用内存中副本提高矢量数据库的读取吞吐量

译者|李睿审校 |孙淑娟在正式发布之后,Milvus2.1增加了许多新功能,例如内存副本、支持字符串数据类型、嵌入式Milvus、可调一致性、用户身份验证和传输中的加密,以提供便利和更好的用户体验。虽然内存中副本的概念对于分布式数据库来说并不新鲜,但它是一个关键功能,可以帮助用户轻松提高系统性能、提高数据库读取吞吐量,并提高硬件资源的利用率。因此,本文首先解释了内存中的副本是什么以及为什么它很重要的原因,然后介绍了如何在人工智能的矢量数据库Milvus中启用这一新功能。 与内存中副本相关的概念 在了解内存中副本是什么以及为什么这么重要之前,需要先了解一些相关概念,其中包括副本组、分片副本、流副

如何发起 MQTT 亿级连接和千万消息吞吐性能测试

作者:亦炎随着5G时代的来临,万物互联的伟大构想正在成为现实。联网的物联网设备在2021年已经达到了120亿,在未来两年,仅智能水电气表就将超过10亿。在如此大的物联网需求下,海量的设备接入和设备管理对网络带宽、通信协议以及平台服务架构都带来了很大挑战。如何做好以MQTT为代表的物联网协议性能测试,也就显得尤为重要。那么,我们该如何做好MQTT的性能测试呢?什么是MQTT协议MQTT是基于TCP/IP协议栈构建的异步通信消息协议,是一种轻量级的发布、订阅信息传输协议。可在不可靠的网络环境中进行扩展,适用于设备硬件存储空间或网络带宽有限的场景。使用MQTT协议,消息发送者与接收者不受时间和空间的

如何发起 MQTT 亿级连接和千万消息吞吐性能测试

作者:亦炎随着5G时代的来临,万物互联的伟大构想正在成为现实。联网的物联网设备在2021年已经达到了120亿,在未来两年,仅智能水电气表就将超过10亿。在如此大的物联网需求下,海量的设备接入和设备管理对网络带宽、通信协议以及平台服务架构都带来了很大挑战。如何做好以MQTT为代表的物联网协议性能测试,也就显得尤为重要。那么,我们该如何做好MQTT的性能测试呢?什么是MQTT协议MQTT是基于TCP/IP协议栈构建的异步通信消息协议,是一种轻量级的发布、订阅信息传输协议。可在不可靠的网络环境中进行扩展,适用于设备硬件存储空间或网络带宽有限的场景。使用MQTT协议,消息发送者与接收者不受时间和空间的

kafka入门:一个开源的、轻量级、高吞吐、高可用的分布式消息系统

背景随着信息技术的快速发展及互联网用户规模的急剧增长,计算机所存储的信息量正呈爆炸式增长,目前数据量已进入大规模和超大规模的海量数据时代,如何高效地存储、分析、处理和挖掘海量数据已成为技术研究领域的热点和难点问题。而如何采集和运营管理、分析这些数据也是大数据处理中一个至关重要的组成环节,这就需要相应的基础设施对其提供支持。针对这个需求,当前业界已有很多开源的消息系统应运而生,kafka就是一款当然非常流行的消息系统。Kafka是一款开源的、轻量级的、分布式、可分区和具有复制备份的(Replicated)、基于ZooKeeper协调管理的分布式流平台的功能强大的消息系统。作为一个流式处理平台,必

kafka入门:一个开源的、轻量级、高吞吐、高可用的分布式消息系统

背景随着信息技术的快速发展及互联网用户规模的急剧增长,计算机所存储的信息量正呈爆炸式增长,目前数据量已进入大规模和超大规模的海量数据时代,如何高效地存储、分析、处理和挖掘海量数据已成为技术研究领域的热点和难点问题。而如何采集和运营管理、分析这些数据也是大数据处理中一个至关重要的组成环节,这就需要相应的基础设施对其提供支持。针对这个需求,当前业界已有很多开源的消息系统应运而生,kafka就是一款当然非常流行的消息系统。Kafka是一款开源的、轻量级的、分布式、可分区和具有复制备份的(Replicated)、基于ZooKeeper协调管理的分布式流平台的功能强大的消息系统。作为一个流式处理平台,必

Java19 正式 GA!看虚拟线程如何大幅提高系统吞吐量

今天Java19正式发布,带来了一个Java开发者垂涎已久的新特性——虚拟线程。在Java有这个新特性之前,Go语言的协程风靡已久,在并发编程领域可以说是叱咤风云。随着国内Go语言的快速发展与推广,协程好像成为了一个世界上最好语言的必备特性之一。Java19虚拟线程就是来弥补这个空白的。本文将通过对虚拟线程的介绍,以及与Go协程的对比来带大家尝鲜Java19虚拟线程。本文要点:Java线程模型平台线程与虚拟线程性能对比Java虚拟线程与Go协程对比如何使用虚拟线程Java线程模型java线程与虚拟线程我们常用的Java线程与系统内核线程是一一对应的,系统内核的线程调度程序负责调度Java线程。

Java19 正式 GA!看虚拟线程如何大幅提高系统吞吐量

今天Java19正式发布,带来了一个Java开发者垂涎已久的新特性——虚拟线程。在Java有这个新特性之前,Go语言的协程风靡已久,在并发编程领域可以说是叱咤风云。随着国内Go语言的快速发展与推广,协程好像成为了一个世界上最好语言的必备特性之一。Java19虚拟线程就是来弥补这个空白的。本文将通过对虚拟线程的介绍,以及与Go协程的对比来带大家尝鲜Java19虚拟线程。本文要点:Java线程模型平台线程与虚拟线程性能对比Java虚拟线程与Go协程对比如何使用虚拟线程Java线程模型java线程与虚拟线程我们常用的Java线程与系统内核线程是一一对应的,系统内核的线程调度程序负责调度Java线程。

【ICDE 2022】稀疏模型训练框架HybridBackend,单位成本下训练吞吐提升至5倍

近年来,随着稀疏模型对算力日益增长的需求,CPU集群必须不断扩大集群规模来满足训练的时效需求,这同时也带来了不断上升的资源成本以及实验的调试成本。 为了解决这一问题,阿里云机器学习PAI平台和阿里妈妈智能引擎训练引擎团队合作开发了稀疏模型高性能同步训练框架HybridBackend,使得在同成本下GPU集群训练吞吐较CPU集群提升至5倍,大幅降低调试成本,同时HybridBackend相关论文《PICASSO:UnleashingthePotentialofGPU-centricTrainingforWide-and-deepRecommenderSystems》也被ICDE22'所收录。Hy