python - CuPy 内存不足

Question

我一直在测试 CuPy 库并使用 einsum 完成了简单的矩阵乘法:

C = cp.einsum('pqrs,rs->pq', A, B)

A 和 B 的尺寸分别为 (41, 41, 41, 41) (41, 41)。我还检查了它们的大小，分别是22606088字节、13448字节。

While running the code, I am getting the following error message:
OutOfMemoryError: out of memory to allocate 38000834048 bytes (total 38023468032 bytes)

这表明我的内存不足。是否有选项可以将部分数据发送到设备并批量执行操作？

Answer 1

我认为没有选项可以为一个数组发送部分数据。

我之前也遇到过同样的问题，这可能是因为 cupy einsum 效率尚未优化所致。 https://github.com/cupy/cupy/issues/19#issuecomment-322972682

如果您可以尝试使用 transpose、reshape 和 matmul 等替换 einsum 函数，请尝试这些。

我猜

C = cp.einsum('pqrs,rs->pq', A, B)

相当于

p, q, r, s = A.shape
A = cp.reshape(A, (p, q, r*s))
B = cp.reshape(B, (1, 1, r*s))
C = cp.sum(A * B, axis=2)