python : Dot product of dask array

Question

我正在尝试对非常大的2个dask数组X(35000 x 7500)和Y(7500 x 10)进行点积。由于点积也会非常大，我将其存储在 hdf5 中

f = h5py.File('output.hdf5')
f['output'] = X.dot(Y)

但是第二个命令没有给出任何输出，尽管它已经将近 1 小时了。怎么了？有没有更快的技术？创建 X 和 Y 时是否存在“ block ”问题？

Answer 1

考虑 .to_hdf5 方法或 da.store 函数。

>>> X.dot(Y).to_hdf5('output.hdf5', 'output')

或

>>> output = f.create_dataset('/output', X.dot(Y).shape, X.dot(Y).dtype)
>>> da.store(X.dot(Y), output)

to_hdf5 方法对您来说可能更容易。 da.store 方法也适用于其他格式。

H5Py 中的 __setitem__ 函数(当您说 f['output'] = ... 时所使用的函数已被硬编码为使用 NumPy 数组。

Here is the appropriate section in the documentation.