python - Cython 在没有 gil 的情况下迭代 numpy 数组列表

Question

我想遍历具有不同维度的 numpy 数组列表，并将它们传递给不需要 GIL 的 cython 函数:

# a has T1 rows and M columns
a = np.array([[0.0, 0.1, 0.3, 0.7],
              [0.1, 0.2, 0.1, 0.6],
              [0.1, 0.2, 0.1, 0.6]])

# b has T2 rows and M columns
b = np.array([[1.0, 0.0, 0.0, 0.0],
              [0.1, 0.2, 0.1, 0.6]])

# c has T3 rows and M columns
c = np.array([[0.1, 0.0, 0.3, 0.6],
              [0.5, 0.2, 0.3, 0.0],
              [0.0, 1.0, 0.0, 0.0],
              [0.0, 0.0, 0.1, 0.0]])

array_list = [a, b, c]
N = len(array_list)

# this function works
@cython.boundscheck(False)
@cython.wraparound(False)
cdef void function_not_requiring_the_gil(double[:, ::1] arr) nogil:
    cdef int T = arr.shape[0]
    cdef int M = arr.shape[1]
    cdef int i, t

    for t in range(T):
        for i in range(M):
            # do some arbitrary thing to the array in-place
            arr[t, i] += 0.001

# issue is with this function
def function_with_loop_over_arrays(array_list, int N):
    cdef int i

    with nogil:
        for i in range(N):
            function_not_requiring_the_gil(array_list[i])

当我编译 Cython 代码时，出现以下错误:

Error compiling Cython file:
------------------------------------------------------------
...
def function_with_loop_over_arrays(array_list, int N):
    cdef int i

    with nogil:
        for i in range(N):
            function_not_requiring_the_gil(array_list[i])                                                    ^
------------------------------------------------------------

my_file.pyx:312:53: Indexing Python object not allowed without gil

我可以使用另一种数据结构来代替 Python 列表来存储这些 numpy 数组，这样我就可以在没有 gil 的情况下迭代它们吗？我愿意接受涉及 malloc C 指针/Cython 内存 View /我不知道的其他类型的建议。

请注意，每个 numpy 数组都有不同的行数，但数组列表的长度是已知的。

Answer 1

您可以将两个形状为 (3,) 的数组传递给 function_with_loop_over_arrays:一个 (array_starts) 包含指向第一个元素的指针a、b 和 c，以及一个包含 T1 的 (arrays_rows)， T2 和 T3。

然后修改 function_not_requiring_the_gil 使其接收指向数组第一个元素及其行数的指针，您将能够在 function_with_loop_over_arrays 中调用它:

for i in range(N):  # N is 3 and should be passed to function_with_loop_over_arrays
    function_not_requiring_the_gil(array_starts[i], array_rows[i])