python - 使用从 Cython 中的方法创建的 PyCapsule 的错误结果

Question

我们需要从 Cython 中的一个类的方法创建一个 PyCapsule。我们设法编写了一个编译甚至运行没有错误的代码，但结果是错误的。

这里有一个简单的例子:https://github.com/paugier/cython_capi/tree/master/using_cpython_pycapsule_class

胶囊由Pythran执行(需要使用github上的版本https://github.com/serge-sans-paille/pythran)。

.pyx 文件:

from cpython.pycapsule cimport PyCapsule_New


cdef int twice_func(int c):
    return 2*c


cdef class Twice:
    cdef public dict __pyx_capi__

    def __init__(self):
        self.__pyx_capi__ = self.get_capi()

    cpdef get_capi(self):
        return {
            'twice_func': PyCapsule_New(
                <void *>twice_func, 'int (int)', NULL),
            'twice_cpdef': PyCapsule_New(
                <void *>self.twice_cpdef, 'int (int)', NULL),
            'twice_cdef': PyCapsule_New(
                <void *>self.twice_cdef, 'int (int)', NULL),
            'twice_static': PyCapsule_New(
                <void *>self.twice_static, 'int (int)', NULL)}

    cpdef int twice_cpdef(self, int c):
        return 2*c

    cdef int twice_cdef(self, int c):
        return 2*c

    @staticmethod
    cdef int twice_static(int c):
        return 2*c

pythran编译的文件(call_capsule_pythran.py)。

# pythran export call_capsule(int(int), int)

def call_capsule(capsule, n):
    r = capsule(n)
    return r

再一次，它是 Pythran 的一个新特性，所以需要 github 上的版本...

和测试文件:

try:
    import faulthandler
    faulthandler.enable()
except ImportError:
    pass

import unittest

from twice import Twice
from call_capsule_pythran import call_capsule


class TestAll(unittest.TestCase):
    def setUp(self):
        self.obj = Twice()
        self.capi = self.obj.__pyx_capi__

    def test_pythran(self):
        value = 41
        print('\n')

        for name, capsule in self.capi.items():
            print('capsule', name)
            result = call_capsule(capsule, value)

            if name.startswith('twice'):
                if result != 2*value:
                    how = 'wrong'
                else:
                    how = 'good'

                print(how, f'result ({result})\n')


if __name__ == '__main__':
    unittest.main()

它是 buggy 并给出:

capsule twice_func
good result (82)

capsule twice_cpdef
wrong result (4006664390)

capsule twice_cdef
wrong result (4006664390)

capsule twice_static
good result (82)

它表明它对于标准函数和静态函数工作正常，但方法存在问题。

请注意，它适用于两个胶囊这一事实似乎表明问题并非来自 Pythran。

编辑

在 DavidW 的评论之后，我了解到我们必须在运行时(例如在 get_capi 中)创建一个带有签名 int(int) 的 C 函数绑定(bind)方法 twice_cdef 其签名实际上是 int(Twice, int)。

我不知道这是否真的不可能用 Cython 来做......

Answer 1

跟进/扩展我的评论:

基本问题是 Pythran 需要一个带有签名 int f(int) 的 C 函数指针。包含在 PyCapsule 中。但是，您的方法的签名是 int(PyObject* self, int c) . 2被传递为 self (不会造成灾难，因为它实际上并没有被使用...)并且使用了一些任意位的内存来代替 int c .不幸的是，不可能使用纯 C 代码创建带有“绑定(bind)参数”的 C 函数指针，因此 Cython 不能(实际上也不能)这样做。

修改 1 是为了更好地对传递给 PyCapsules 的内容进行编译时类型检查通过创建一个接受正确类型并在其中进行转换的函数，而不是仅仅转换为 <void*>盲目地。这并不能解决您的问题，但会在它无法正常工作时在编译时警告您:

ctypedef int(*f_ptr_type)(int)

cdef make_PyCapsule(f_ptr_type f, string):
    return PyCapsule_New(
                <void *>f, string, NULL)

# then in get_capi:
'twice_func': make_PyCapsule(twice_func, b'int (int)'), # etc

实际上可以使用 ctypes 从任意 Python 可调用文件创建 C 函数(或 cffi ) - 参见 Using function pointers to methods of classes without the gil (答案底部)。这增加了一层额外的 Python 调用，所以速度不是很快，而且代码有点乱。 ctypes通过使用运行时代码生成(这不是可移植的或您可以在纯 C 中执行的操作)即时构建函数然后创建指向该函数的指针来实现此目的。

虽然您在评论中声称您认为您不能使用 Python 解释器，但我认为这不是真的 - Pythran 生成 Python 扩展模块(因此非常绑定(bind)到 Python 解释器)并且它似乎在此处显示的测试用例中工作:

 _func_cache = []

cdef f_ptr_type py_to_fptr(f):
    import ctypes
    functype = ctypes.CFUNCTYPE(ctypes.c_int,ctypes.c_int)
    ctypes_f = functype(f)
    _func_cache.append(ctypes_f) # ensure references are kept
    return (<f_ptr_type*><size_t>ctypes.addressof(ctypes_f))[0]

# then in make_capi:
'twice_cpdef': make_PyCapsule(py_to_fptr(self.twice_cpdef), b'int (int)')

不幸的是，它只适用于 cpdef而不是 cdef函数，因为它确实依赖于具有可调用的 Python。 cdef可以使函数与 lambda 一起工作(假设您将 get_capi 更改为 def 而不是 cpdef ):

'twice_cdef': make_PyCapsule(py_to_fptr(lambda x: self.twice_cdef(x)), b'int (int)'),

这一切都有点困惑，但可以让它发挥作用。