我有两个 scipy_sparse_csr_matrix 'a' 和 scipy_sparse_csr_matrix(boolean) 'mask'，我想将 'a' 的元素设置为零，其中 mask 的元素为 True。

例如

>>>a
<3x3 sparse matrix of type '<type 'numpy.int32'>'
    with 4 stored elements in Compressed Sparse Row format>
>>>a.todense()
matrix([[0, 0, 3],
        [0, 1, 5],
        [7, 0, 0]])

>>>mask
<3x3 sparse matrix of type '<type 'numpy.bool_'>'
    with 4 stored elements in Compressed Sparse Row format>
>>>mask.todense()
matrix([[ True, False,  True],
        [False, False,  True],
        [False,  True, False]], dtype=bool)

然后我想得到下面的结果。

>>>result
<3x3 sparse matrix of type '<type 'numpy.int32'>'
    with 2 stored elements in Compressed Sparse Row format>
>>>result.todense()
matrix([[0, 0, 0],
        [0, 1, 0],
        [7, 0, 0]])

我可以通过这样的操作来完成

result = a - a.multiply(mask)

或

a -= a.multiply(mask) #I don't care either in-place or copy.

但我认为上述操作效率低下。由于 'a' 和 'mask' 的实际形状是 67,108,864 × 2,000,000，这些操作在高规范服务器(64 核 Xeon cpu，512GB 内存)上需要几秒钟。例如，'a' 有大约 30,000,000 个非零元素，'mask' 有大约 1,800,000 个非零(真)元素，那么上面的操作大约需要 2 秒。

有没有更有效的方法来做到这一点？

条件如下。

1. a.getnnz() != mask.getnnz()
2. a.shape = mask.shape

谢谢!

其他方式(试过)

a.data*=~np.array(mask[a.astype(np.bool)]).flatten();a.eliminate_zeros() #This takes twice the time longer than above method.

最佳答案

我的初步印象是这种乘法和减法是合理的。 稀疏 代码通常将操作实现为某种乘法，即使密集等效项使用更直接的方法也是如此。行或列的稀疏求和使用与适当的行或列矩阵 1 的矩阵乘法。甚至行或列索引也使用矩阵乘法(至少在 csr 格式上)。

有时我们可以通过直接使用矩阵属性(data、indices、indptr)来改进操作。但这需要更多的思考和实验。

对于密集阵列，我的第一个尝试是

In [611]: a.A*~(mask.A)
Out[611]: 
array([[0, 0, 0],
       [0, 1, 0],
       [7, 0, 0]], dtype=int32)

但是没有一种直接的方法可以不 稀疏矩阵。如果 mask 确实是稀疏的，那么 ~mask 就不会了。在您的示例中，mask 有 4 个 True 术语和 5 个 False，因此密集版本也可以正常工作:

In [612]: nmask=sparse.csr_matrix(~(mask.A))
In [615]: a.multiply(nmask)
Out[615]: 
<3x3 sparse matrix of type '<class 'numpy.int32'>'
    with 2 stored elements in Compressed Sparse Row format>

CSR scipy matrix does not update after updating its values探索将稀疏矩阵的对角线设置为 0。可以将 data 属性的值设置为 0，然后在最后设置一次 eliminate_zeros。

另一种密集方法是

In [618]: a1=a.A
In [619]: a1[mask.A]=0

这也适用于sparse - 有点

In [622]: a2=a.copy()
In [624]: a2[mask]
Out[624]: matrix([[0, 3, 5, 0]], dtype=int32)
In [625]: a2[mask]=0
/usr/local/lib/python3.5/dist-packages/scipy/sparse/compressed.py:730: SparseEfficiencyWarning: Changing the sparsity structure of a csr_matrix is expensive. lil_matrix is more efficient.
  SparseEfficiencyWarning)
In [626]: a2
Out[626]: 
<3x3 sparse matrix of type '<class 'numpy.int32'>'
    with 6 stored elements in Compressed Sparse Row format>

如前一个问题所述，我们需要消除零:

In [628]: a2.eliminate_zeros()
In [629]: a2
Out[629]: 
<3x3 sparse matrix of type '<class 'numpy.int32'>'
    with 2 stored elements in Compressed Sparse Row format>

从稀疏性警告中得到提示让我们尝试使用 lil 格式

In [638]: al=a.tolil()
In [639]: al[mask]
Out[639]: 
<1x4 sparse matrix of type '<class 'numpy.int32'>'
    with 2 stored elements in LInked List format>
In [640]: al[mask]=0
In [641]: al
Out[641]: 
<3x3 sparse matrix of type '<class 'numpy.int32'>'
    with 2 stored elements in LInked List format>

有趣的是，al[mask] 仍然是稀疏的，而 a[mask] 是密集的。两种格式使用不同的索引方法。

在稀疏度较低的情况下，可能值得迭代 mask 的 True(非零)元素，将 a 的相应项直接设置为零。

我不会猜测这些方法的相对速度。这需要在实际数据上进行测试。

关于python - 将元素设置为零的有效方法，其中掩码在 scipy 稀疏矩阵上为 True，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41505416/