python - 加速cython代码

Question

我有在 python 中运行的代码，想使用 cython 来加速计算。我复制的函数位于 .pyx 文件中，并从我的 python 代码中调用。 V、C、train、I_k 是二维 numpy 数组，lambda_u、user、hidden 是整数。我没有任何使用 C 或 cython 的经验。什么是高效使此代码更快的方法。使用 cython -a 进行编译表明代码存在缺陷，但我该如何改进它。使用 for i in prange (user_size, nogil=True):导致 Constructing Python slice object not allowed without gil。

如何修改代码以获取 cython 的强大功能？

 @cython.boundscheck(False)
 @cython.wraparound(False)
 def u_update(V, C, train, I_k, lambda_u, user, hidden):
    cdef int user_size = user
    cdef int hidden_dim = hidden
    cdef np.ndarray U = np.empty((hidden_dim,user_size), float)
    cdef int m = C.shape[1]

    for i in range(user_size):
        C_i = np.zeros((m, m), dtype=float)
        for j in range(m):
            C_i[j,j]=C[i,j]

        U[:,i] = np.dot(np.linalg.inv(np.dot(V, np.dot(C_i,V.T)) + lambda_u*I_k), np.dot(V, np.dot(C_i,train[i,:].T)))

    return U

Answer 1

您正在尝试通过潜入游泳池的深处来使用 cython。你应该从一些小的东西开始，比如一些 numpy 的例子。或者甚至尝试改进 np.diag。

    i = 0
    C_i = np.zeros((m, m), dtype=float)
    for j in range(m):
        C_i[j,j]=C[i,j]

诉

    C_i = diag(C[i,:])

你能提高这个简单表达式的速度吗？ diag 未编译，但它执行高效的索引赋值。

 res[:n-k].flat[i::n+1] = v

但是 cython 的真正问题是这个表达式:

U[:,i] = np.dot(np.linalg.inv(np.dot(V, np.dot(C_i,V.T)) + lambda_u*I_k), np.dot(V, np.dot(C_i,train[i,:].T)))

np.dot 已编译。 cython 不会将其转换为 c 代码，也不会将所有 5 个 点 合并为一个表达式。它也不会触及 inv。所以充其量 cython 会加速迭代包装器，但它仍会调用此 Python 表达式 m 次。

我的猜测是这个表达式可以被清理掉。用 einsum 替换内部 dots 可能可以消除对 C_i 的需要。 inv 可能会使“向量化”整个事情变得困难。但我必须更多地研究它。

但是如果你想坚持使用 cython 路线，你需要将 U 表达式转换为简单的迭代代码，而不调用像 dot 这样的 numpy 函数 和 inv。

===================

我认为以下是等价的:

np.dot(C_i,V.T)
C[i,:,None]*V.T

在:

np.dot(C_i,train[i,:].T) 

如果 train 是二维的，那么 train[i,:] 就是一维的，.T 什么都不做。

In [289]: np.dot(np.diag([1,2,3]),np.arange(3))
Out[289]: array([0, 2, 6])
In [290]: np.array([1,2,3])*np.arange(3)
Out[290]: array([0, 2, 6])

如果我没看错，你不需要 C_i。

======================

此外，这些计算可以移到循环外，使用类似(未测试)的表达式

CV1 = C[:,:,None]*V.T   # a 3d array
CV2 = C * train.T  

for i in range(user_size):
    U[:,i] = np.dot(np.linalg.inv(np.dot(V, CV1[i,...]) + lambda_u*I_k), np.dot(V, CV2[i,...]))

下一步是将 np.dot(V,CV...) 移出循环。这可能需要 np.matmul (@) 或 np.einsum。那么我们将有

for i...
    I = np.linalg.inv(VCV1[i,...])  
    U[:,i] = np.dot(I+ lambda_u), VCV2[i,])

甚至

for i...
     I[...i] = np.linalg.inv(...) # if inv can't be vectorized
U = np.einsum(..., I+lambda_u, VCV2)

这是一个粗略的草图，需要制定细节。