以下代码的时间非常奇怪:

import numpy as np
s = 0
for i in range(10000000):
    s += np.float64(1) # replace with np.float32 and built-in float

• 内置浮点:4.9 秒
• float64:10.5 秒
• float32:45.0 秒

为什么 float64 比 float 慢两倍？为什么 float32 比 float64 慢 5 倍？

有什么办法可以避免使用 np.float64 的惩罚，并让 numpy 函数返回内置 float 而不是 float64?

我发现使用 numpy.float64 比 Python 的 float 慢很多，而 numpy.float32 甚至更慢(即使我在 32 位机器上) )。

numpy.float32 在我的 32 位机器上。因此，每次我使用各种 numpy 函数(例如 numpy.random.uniform)时，我都会将结果转换为 float32(以便以 32 位精度执行进一步的操作)。

有没有办法在程序或命令行中的某处设置单个变量，并使所有 numpy 函数返回 float32 而不是 float64？

编辑#1:

numpy.float64 在算术计算中比 float 慢 10 倍。太糟糕了，即使在计算之前转换为 float 并返回，程序运行速度也快了 3 倍。为什么？有什么办法可以解决吗？

我想强调，我的时间安排不是由于以下任何原因:

• 函数调用
• numpy 与 python float 的转换
• 对象的创建

我更新了我的代码，以更清楚地说明问题所在。使用新代码，我似乎看到使用 numpy 数据类型会带来十倍的性能损失:

from datetime import datetime
import numpy as np

START_TIME = datetime.now()

# one of the following lines is uncommented before execution
#s = np.float64(1)
#s = np.float32(1)
#s = 1.0

for i in range(10000000):
    s = (s + 8) * s % 2399232

print(s)
print('Runtime:', datetime.now() - START_TIME)

时间是:

• float64:34.56 秒
• float32:35.11 秒
• float :3.53 秒

为了它，我也试过了:

从日期时间导入日期时间 将 numpy 导入为 np

START_TIME = datetime.now()

s = np.float64(1)
for i in range(10000000):
    s = float(s)
    s = (s + 8) * s % 2399232
    s = np.float64(s)

print(s)
print('Runtime:', datetime.now() - START_TIME)

执行时间为13.28 s；实际上，将 float64 转换为 float 并返回比按原样使用要快 3 倍。尽管如此，转换还是要付出代价，因此总体而言，与纯 Python float 相比，它的速度要慢 3 倍以上。

我的机器是:

• 英特尔酷睿 2 双核 T9300 (2.5GHz)
• WinXP Professional(32 位)
• ActiveState Python 3.1.3.5
• Numpy 1.5.1

编辑 #2:

感谢您的回答，他们帮助我了解如何处理这个问题。

但我仍然想知道为什么下面的代码使用 float64 比使用 float 慢 10 倍的确切原因(也许基于源代码)。

编辑#3:

我在 Windows 7 x64 (Intel Core i7 930 @ 3.8GHz) 下重新运行代码。

同样，代码是:

from datetime import datetime
import numpy as np

START_TIME = datetime.now()

# one of the following lines is uncommented before execution
#s = np.float64(1)
#s = np.float32(1)
#s = 1.0

for i in range(10000000):
    s = (s + 8) * s % 2399232

print(s)
print('Runtime:', datetime.now() - START_TIME)

时间是:

• float64:16.1s
• float32:16.1 秒
• float :3.2 秒

现在两个 np float (64 或 32)都比内置 float 慢 5 倍。尽管如此，还是有很大的不同。我想弄清楚它是从哪里来的。

编辑结束

最佳答案

CPython float 以 block 的形式分配

将 numpy 标量分配与 float 类型进行比较的关键问题是 CPython 总是以 block 的形式为 float 和 int 对象分配内存大小为 N。

在内部，CPython 维护一个 block 的链表，每个 block 都足够大以容纳 N 个 float 对象。当你调用 float(1) CPython 检查当前 block 中是否有可用空间；如果不是，它分配一个新 block 。一旦它在当前 block 中有空间，它就会简单地初始化该空间并返回一个指向它的指针。

在我的机器上，每个 block 可以容纳 41 个 float 对象，因此第一个 float(1) 调用有一些开销，但接下来的 40 个运行得更快，因为内存已分配并准备就绪。

numpy.float32 与 numpy.float64 相比慢

似乎 numpy 在创建标量类型时可以采用 2 条路径:快速和慢速。这取决于标量类型是否具有 Python 基类，它可以将参数转换推迟到该基类。

出于某种原因，numpy.float32 被硬编码为采用较慢的路径 (defined by the _WORK0 macro) , 而 numpy.float64 有机会走更快的路径 (defined by the _WORK1 macro) .请注意，scalartypes.c.src 是在构建时生成 scalartypes.c 的模板。

您可以在 Cachegrind 中将其可视化。我包含了屏幕截图，显示了构造 float32 与 float64 的调用次数:

float64 走捷径

float32走慢路

更新 - 采用慢/快路径的类型可能取决于操作系统是 32 位还是 64 位。在我的测试系统 Ubuntu Lucid 64 位上，float64 类型比 float32 快 10 倍。

关于python - numpy float : 10x slower than builtin in arithmetic operations?，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/5956783/