gpt4 book ai didi

python - cython.parallel.prange 中的 cython 共享内存 - block

转载 作者:太空狗 更新时间:2023-10-29 18:05:29 26 4
gpt4 key购买 nike

我有一个函数 foo,它将指向内存的指针作为参数,并写入和读取该内存:

cdef void foo (double *data):
data[some_index_int] = some_value_double
do_something_dependent_on (data)

我像这样分配给data:

cdef int N = some_int
cdef double *data = <double*> malloc (N * sizeof (double))

cdef int i
for i in cython.parallel.prange (N, nogil=True):
foo (data)

readout (data)

我现在的问题是:不同的线程如何处理这个问题?我的猜测是 data 指向的内存将由所有线程共享,并在函数 foo 内“同时”读取或写入。这会弄乱所有结果,因为不能依赖先前设置的数据值(在 foo 内)?我的猜测是正确的还是在 cython 编译器中实现了一些神奇的安全带?

非常感谢您。

最佳答案

一个好方法是让主数组位于线程之外。然后你给每个线程一个指针,指向线程应该计算的主数组部分。

以下示例是矩阵乘法的实现(类似于二维数组的 dot),其中:

c = a*b

这里的并行是在 a 的行上实现的。检查指针是如何传递给 multiply 函数的,以便允许不同的线程共享相同的数组。

import numpy as np
cimport numpy as np
import cython
from cython.parallel import prange

ctypedef np.double_t cDOUBLE
DOUBLE = np.float64


def mydot(np.ndarray[cDOUBLE, ndim=2] a, np.ndarray[cDOUBLE, ndim=2] b):
cdef np.ndarray[cDOUBLE, ndim=2] c
cdef int i, M, N, K

c = np.zeros((a.shape[0], b.shape[1]), dtype=DOUBLE)
M = a.shape[0]
N = a.shape[1]
K = b.shape[1]

for i in prange(M, nogil=True):
multiply(&a[i,0], &b[0,0], &c[i,0], N, K)

return c


@cython.wraparound(False)
@cython.boundscheck(False)
@cython.nonecheck(False)
cdef void multiply(double *a, double *b, double *c, int N, int K) nogil:
cdef int j, k
for j in range(N):
for k in range(K):
c[k] += a[j]*b[k+j*K]

要检查您是否可以使用此脚本:

import time

import numpy as np

import _stack

a = np.random.random((10000,500))
b = np.random.random((500,2000))

t = time.clock()
c = np.dot(a, b)
print('finished dot: {} s'.format(time.clock()-t))

t = time.clock()
c2 = _stack.mydot(a, b)
print('finished mydot: {} s'.format(time.clock()-t))

print 'Passed test:', np.allclose(c, c2)

它在我电脑上的什么位置:

finished dot: 0.601547366526 s
finished mydot: 2.834147917 s
Passed test: True

如果 a 的行数小于列数或 b 中的列数,则 mydot 会更糟,需要更好地检查在哪个维度上进行并行处理。

关于python - cython.parallel.prange 中的 cython 共享内存 - block ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19002486/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com