草庐IT

TensorStor

全部标签

Google 开源 TensorStore,为读写大型多维数据而设计

Google在上周发表了一篇博客文章,当中介绍了一个开源的C++和Python库——TensorStore,开发者可以使用它来存储和操作多维数据,该库旨在通过更好地管理和处理大型数据集来解决科学计算中的关键工程挑战。如今计算机科学和机器学习中的各种应用都在操作跨越单一坐标系的多维数据集。在这些应用中,一个单一的数据集可能就需要PB级的存储空间,而且处理这种数据集也同样面对挑战——因为用户可能以不同的规模和不可预测的时间间隔接收和写入数据。TensorStore提供了一个简单的PythonAPI来加载和处理大量的数据数组,任意大型的底层数据集都可以被加载和操作,而且不需要将整个数据集存储在内存中

Google 开源 TensorStore,为读写大型多维数据而设计

Google在上周发表了一篇博客文章,当中介绍了一个开源的C++和Python库——TensorStore,开发者可以使用它来存储和操作多维数据,该库旨在通过更好地管理和处理大型数据集来解决科学计算中的关键工程挑战。如今计算机科学和机器学习中的各种应用都在操作跨越单一坐标系的多维数据集。在这些应用中,一个单一的数据集可能就需要PB级的存储空间,而且处理这种数据集也同样面对挑战——因为用户可能以不同的规模和不可预测的时间间隔接收和写入数据。TensorStore提供了一个简单的PythonAPI来加载和处理大量的数据数组,任意大型的底层数据集都可以被加载和操作,而且不需要将整个数据集存储在内存中