python - Cython Memoryview 作为返回值

Question

考虑这个虚拟的 Cython 代码:

#!python
#cython: boundscheck=False
#cython: wraparound=False
#cython: initializedcheck=False
#cython: cdivision=True
#cython: nonecheck=False

import numpy as np

# iterator function
cdef double[:] f(double[:] data):
    data[0] *= 1.01
    data[1] *= 1.02
    return data

# looping function
cdef double[:] _call_me(int bignumber, double[:] data):
    cdef int ii
    for ii in range(bignumber):
        data = f(data)
    return data

# helper function to allow calls from Python
def call_me(bignumber):
    cdef double[:] data = np.ones(2)
    return _call_me(bignumber, data)

现在，如果我对此执行 cython -a，它会以黄色显示返回语句。我正在一个对性能非常关键的程序中做类似的事情，根据分析，这确实减慢了我的代码速度。那么，为什么 cython 需要 python 来处理这些 return 语句呢？注释文件给出提示:

PyErr_SetString(PyExc_TypeError,"Memoryview return value is not initialized");

令人惊讶的是，谷歌搜索 cython“Memoryview return value is not initialized” 得到零结果。

Answer 1

缓慢的部分不是您想象的那样。缓慢的部分是(嗯......主要是)

data = f(data)

不是 f(data)。 数据=。

这分配了一个struct，它是这样定义的

typedef struct {
  struct __pyx_memoryview_obj *memview;
  char *data;
  Py_ssize_t shape[8];
  Py_ssize_t strides[8];
  Py_ssize_t suboffsets[8];
} __Pyx_memviewslice;

并且提到的任务确实如此

__pyx_t_3 = __pyx_f_3cyt_f(__pyx_v_data);

__pyx_t_3 属于那种类型。如果这是在循环中大量完成的，那么复制结构比执行函数的简单主体花费的时间要长得多。我用纯 C 做了一个计时，它给出了相似的数字。

(编辑说明:分配实际上主要是一个问题，因为它还导致生成结构和其他副本未被优化。)

但是，整个事情看起来很愚蠢。复制结构的唯一原因是如果有什么改变了，但什么都没有。同一个地方的内存点，同一个地方的数据点，shape、strides和offsets都一样。

我认为避免 struct 复制的唯一方法是不更改它引用的任何内容(也就是始终返回给定的 memoryview)。这只有在返回毫无意义的情况下才有可能，就像这里一样。或者你可以破解 C，我想，就像我一样。如果您弄坏了东西，请不要哭。

---

另请注意，您可以将函数设为 nogil，因此它与回到 Python 没有任何关系。

---

编辑

C 的优化编译器让我有点失望。基本上，我删除了一些分配并删除了其他东西的负载。基本上慢路径是这样的:

#include<stdio.h>


struct __pyx_memoryview_obj;


typedef struct {
  struct __pyx_memoryview_obj *memview;
  char *data;
  ssize_t shape[8];
  ssize_t strides[8];
  ssize_t suboffsets[8];
} __Pyx_memviewslice;


static __Pyx_memviewslice __pyx_f_3cyt_f(__Pyx_memviewslice __pyx_v_data) {
  __Pyx_memviewslice __pyx_r = { 0, 0, { 0 }, { 0 }, { 0 } };
  __pyx_r = __pyx_v_data;
  return __pyx_r;
}

main() {
    int i;
    __Pyx_memviewslice __pyx_v_data = {0, 0, { 0 }, { 0 }, { 0 }};

    for (i=0; i<10000000; i++) {
        __pyx_v_data = __pyx_f_3cyt_f(__pyx_v_data);
    }
}

(编译时不进行优化)。我不是 C 程序员，所以如果我所做的事情在某种程度上很糟糕，这与我复制计算机生成的代码这一事实没有直接联系，我深表歉意。

我知道这帮助，但我已经尽力了，好吗？