c++ - 如何在 C++ 头文件和源文件中使用 NumPy C-API？

Question

我正在使用 Boost::Python 将 Python 代码提供给 C++ 库。我有一个将 C++ 类型转换为 Python 类型的模板函数:

template <typename T> bp::object convert(T v);

专门用于各种原始类型以及一些模板化类。其中一个类是 N 维数组，我有一个函数可以将其转换为 NumPy 数组。我想在相应的 convert 中使用这个函数特化，例如:

template <typename Y> bp::object convert(NDArray<Y> v);

我的主要问题是此转换函数需要存在于 header 中，因为它是模板化的，但它使用 NumPy 的 PyArray_函数，需要 import_array()在使用前被调用。 import_array()当前在单例对象的构造函数中调用，其目的是提供对 Python 函数的访问。这似乎行不通，因为默认情况下，#include <numpy/arrayobject.h>只做 PyArray_当前编译单元可用的函数。我试过定义一个 PY_ARRAY_UNIQUE_SYMBOL并定义 NO_IMPORT_ARRAY对于标题，但这并不能阻止 PyArray_来自段错误的功能。

这是我的代码的简化表示，它在使用 PyArray_ 时出现段错误“conversions.h” header 中的函数:

“转换.h”:

#include <boost/python.hpp>
#include <numpy/numpyconfig.h>
#include <numpy/arrayobject.h>

namespace bp = boost::python;

template <typename T> bp::object convert(T v);
template <> bp::object convert<int>(int v) { return bp::long_(v); }
...
template <typename Y> bp::object convert(NDArray<Y> v)
{
... use PyArray_ functions to create and return a NumPy array
... segfaults here!
}

“桥.h”:

#include "conversions.h"

class Bridge {
public:
    static Bridge* instance();

    // c++11 variadic template (parameter pack)
    template <typename... Args> void exec(Args... args)
    {
        ...
        fn(convert(args)...); // fn is a Python function
        ...
    }
    void foo();

private:
    Bridge();
    Bridge(const Bridge&);
    void operator=(const Bridge&);
    static Bridge* instance_;
}

“桥.cpp”:

#include "Bridge.h"
#include <numpy/numpyconfig.h>
#include <numpy/arrayobject.h>

Bridge* Bridge::instance_ = nullptr;
Bridge* Bridge::instance() {
    if (!instance_) { instance_ = new Bridge(); }
    return instance_;
}
Bridge::Bridge() {
    Py_Initialize();
    _import_array();
    ...
}
void Bridge::foo() {
    ... // other stuff using PyArray functions
}

“ main.cpp ”:

#include "Bridge.h"

int main(void)
{
    NDArray my_array(...);
    Bridge::instance()->exec(42, "hello", my_array); 
    return 0;
}

Answer 1

从那以后，我了解到一个问题是对 PyArray 函数的调用应该发生在与对 import_array(NumPy 初始化函数)的调用相同的编译单元中。

解决此问题的一种方法是在内部“包装”PyArray_* 函数并使用它们而不是直接使用 NumPy API。

可能找到了另一个解决方案here .

我的解决方案:

创建一个“numpy_wrappers.h”文件:

...
#include "numpy/ndarraytypes.h"

int NumPyArray_NDIM(PyObject* obj);
npy_intp NumPyArray_DIM(PyObject* obj, int i);
void *NumPyArray_DATA(PyObject* obj);
...

然后通过将原始函数“包装”在与调用相同的源文件中来实现这些 import_array(NumPy 初始化函数):

...
Bridge::Bridge() {
    Py_Initialize();
    _import_array();
    ...
}
...
/// Wraps PyArray_NDIM
int NumPyArray_NDIM(PyObject* obj)
{
    return PyArray_NDIM((PyArrayObject*)obj);
}

/// Wraps PyArray_DIM
npy_intp NumPyArray_DIM(PyObject* obj, int i)
{
    return PyArray_DIM((PyArrayObject*)obj, i);
}

/// Wraps PyArray_DATA
void* NumPyArray_DATA(PyObject* obj)
{
    return PyArray_DATA((PyArrayObject*)obj);
}
...

然后它们可以用在模板头中，像这样:

...
template <typename Y> bp::object convert(NDArray<Y> v)
{
... use NumPyArray_ functions to create and return a NumPy array
... No more segfaults!
}
...

你可以看到这个 here 的深入实现，一个用于在某些 C++ STL 类型和 Python 标准类型之间无缝转换的工具箱。