python - Cython 函数指针和异常

Question

我正在尝试使用 cython 包装现有的 C 库。该库使用我想重定向的回调来执行 python 代码。假设 header 中的相应行如下:

typedef RETCODE (*FUNC_EVAL)(int a, int b, void* func_data);

返回代码用于指示错误。的API创建对应的C struct如下:

RETCODE func_create(Func** fstar,
                    FUNC_EVAL func_eval,
                    void* func_data);

我添加了一个 cython 头文件/实现文件。 header 包含类型定义:

  ctypedef RETCODE (*FUNC_EVAL)(int a,
                                int b, 
                                void* func_data)

该实现包含一个包装函数:

cdef RETCODE func_eval(int a,
                       int b,
                       void* func_data):
  (<object> func_data).func_eval(a, b)
  return OKAY;

我可以将此函数传递给 func_create cython 包装器就好了。

但是，我想确保 python 代码中的异常是通过返回一个 ERROR 值向 C 库报告一个返回码。所以我添加了以下内容:

cdef RETCODE func_eval(int a,
                       int b,
                       void* func_data) except ERROR:
  (<object> func_data).func_eval(a, b)
  return OKAY;

但是，现在 cython 终止并显示以下错误消息:

  Cannot assign type 'RETCODE (*)(int, int, void *) except ERROR' to 'FUNC_EVAL'

我使用的 except ... 语句错了吗？

Answer 1

那是 Cython 试图防止您犯细微的错误。

首先，让我们回顾一下 CPython 中错误处理的工作原理:有一个全局错误状态(每个线程)，它在发生错误/异常时设置。该状态包含有关异常类型、回溯等信息。惯例是，除了设置全局错误状态外，函数还通过特殊的返回值发出失败信号，因此不必在每次函数调用后检查错误状态。

一旦在函数中检测到故障，必须发生以下情况:

• 如果此函数“知道”如何处理此错误(例如“except”子句)，那么它必须在继续之前清除全局错误状态。
• 如果这个函数不“知道”如何处理他的错误，它必须中止并返回失败信号。

一件重要的事情:如果函数没有报告发生的错误，它应该清除错误状态，否则 python 解释器处于不一致的状态并且可能发生细微的错误:例如 Cython cdef -具有 except? 的函数取决于正确的错误状态(Cython 的 except 子句有何不同，请参见示例 this SO-answer)。

现在，回到您的 cdef 函数。

• 如果在没有except 的情况下声明它，Cython 会处理全局状态:如果发生错误，则在函数返回之前清除状态(并将警告写入标准错误)默认值。
• 如果函数是用 except 1 声明的，则函数的调用者必须注意清除错误状态。

所以问题是:FUNC_EVAL 仿函数的调用者是否在发生错误时清除 Python 的错误状态？

• 如果是，将函数指针类型包装为 ctypedef... (*FUNC_EVAL)(...) except 1 以向 Cython 表明调用者将能够处理错误.
• 如果不是(更有可能)，您将不得不在 cdef 函数中处理 Python 的错误状态。

在“否”的情况下，最直接的方法是在 cdef 函数中使用 try: ... except: ...，即

cdef RETCODE func_eval(int a,
                       int b,
                       void* func_data):
  try:
    (<object> func_data).func_eval(a, b)
  except Exception:
     return ERROR
  return OKAY

有人可能会担心，即使在没有引发异常的情况下，使用 try...except... 也会增加开销。这是真的。但是，您已经调用了一些 Python 功能，因此这种额外的开销不会降低性能。

我的快速实验表明，如果调用的 Python 功能中根本没有计算，您可能会损失高达 30%(请参阅答案附录中的实验)。但是上面是一个极端的情况，通常你会损失的少很多，所以我不会尝试优化它，除非分析器显示它确实是一个问题。

如果您定义 ERROR=0 和 'OKAY=1，那么您可以使用实现细节，即 Cython 在清除错误时将结果设置为 0`。然而，这似乎是一条湿滑的道路。

---

开销的测量:

%%cython -a
cdef extern from *:
    """
    typedef int (*FUN)(void);
    void call(FUN f){
       f();
    }
    """
    ctypedef int (*FUN)()
    void call(FUN f)

def dummy():
    pass

cdef int cython_handling():
    dummy()
    return 1

cdef int manual_handling():
    try:
        dummy()
    except Exception:
        return 0
    return 1

def check_cython():
    cdef int i
    for i in range(1000):
        call(cython_handling)

def check_manually():
    cdef int i
    for i in range(1000):
        call(manual_handling)

现在:

%timeit check_cython()
# 21.6 µs ± 164 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
%timeit check_manually()
# 27 µs ± 493 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)