python - 在没有内存泄漏的情况下在 Python 中公开 STL 结构

Question

我有一个 std::vector<CameraT>由于 Flexo 对 SWIG and C++ memory leak with vector of pointers 的回应，我已经绑定(bind)到 Python .但是我需要访问像 CameraT.t 这样的字段，但我找不到合适的方法来做到这一点。

它在第 3 方头文件 (DataInterface.h) 中定义为:

template<class FT>
struct CameraT_ {
    typedef FT float_t;
    float_t t[3];
    /* more elaborate c++ stuff */
};
typedef CameraT_<float> CameraT;

接口(interface)文件大概是这样的:

%module nvm
%{
    #define SWIG_FILE_WITH_INIT
    #include "util.h"
%}

%include "std_vector.i"

%inline %{
bool CameraDataFromNVM(const char* name, std::vector<CameraT>& camera_data){
    /* wrapper code */
}
%}

%template(CamVector) std::vector<CameraT>;

以及集成测试:

import nvm

if __name__ == "__main__":
    datafile = '../../example-data/vidstills.nvm'
    cams = nvm.CamVector()

    assert nvm.CameraDataFromNVM(datafile, cams)

    print(cams[0])  # this yields no memory warnings
    print(cams[0].t[0])  # 'SwigPyObject' object has no attribute 't'

    # Yields: swig/python detected a memory leak of type 'CameraT *', no destructor found.
    c = list([i for i in cams])

打印这个:

$ python3 test_nvm.py |& head
<Swig Object of type 'CameraT *' at 0x7f638228ee40>
Loading cameras/points: ../../example-data/vidstills.nvm
329 cameras; 8714 3D points; 74316 projections
Traceback (most recent call last):
  File "test_nvm.py", line 20, in <module>
    print(cams[0].t[0])
AttributeError: 'SwigPyObject' object has no attribute 't'
swig/python detected a memory leak of type 'CameraT *', no destructor found.

我试过放置 struct CameraT {}和 #include %inline block 内外的语句失败。循环遍历 vector 元素也会产生内存泄漏警告。不知道还能做什么。

密码在Github .

Answer 1

这里有几个问题。首先，要修复有关内存泄漏的警告，您需要 %include "datainterface.h" 然后使用另一个 %template 指令，用于 CameraT_ 模板。 (typedef 不会改变这是必需的事实)。

因此:

%include "datainterface.h"
%template(CameraT) CameraT_<float>;

警告消失，我们可以访问该类型的成员。 (你提到的第一行没有警告是我认为 Python 的引用计数系统的一个怪癖)。

但这还不是全部，我们现在收到关于 t 不可订阅的错误。我们可以通过调用带有 -debug-tmsearch 作为额外参数的 swig 来深入了解这一点，它显示了正在选择的类型映射。至关重要的是，我们看到类似的东西:

datainterface.h:4: Searching for a suitable 'ret' typemap for: CameraT_< float >::float_t CameraT_< float >::t[3]
[snip lots of tries...]
Looking for: SWIGTYPE
None found

有点令人惊讶的是，我在任何 SWIG header 中都找不到合适的类型映射。 (尽管在 arrays_java.i 中它肯定存在于 Java 中)。有几种方法可以修复它:

1. 使用 carrays.i 并让用户做一些工作。
2. 切换到具有现有包装器的容器。 (虽然不是第 3 方代码的选项)
3. 自己写一些类型图。

由于 1 和 2 是微不足道的而且不是很好的 Python 我将跳过它们并为我们编写一两个类型映射，我最终的 nvm.i 文件最终看起来像:

%module nvm
%{
#include "datainterface.h"
%}

%include "std_vector.i"

%typemap(out) float[ANY] %{
  $result = PyTuple_New($1_dim0);
  for (unsigned i = 0; i < $1_dim0; ++i)
    PyTuple_SetItem($result,i,PyFloat_FromDouble($1[i])); 
%}

%typemap(in) float[ANY] (unsigned i=0, float tmp[$1_dim0]) %{
  $1 = tmp;
  PyObject *item, *iterator;
  iterator = PyObject_GetIter($input); // spliting this lets a macro work

  while (!PyErr_Occurred() && iterator &&
         i < $1_dim0 && (item = PyIter_Next(iterator))) {
    $1[i++] = PyFloat_AsDouble(item);
    Py_DECREF(item);
  }

  Py_DECREF(iterator);

  if (i != $1_dim0) {
    PyErr_SetString(PyExc_AttributeError, "Failed to get $1_dim0 floats" );
    SWIG_fail;
  }
%}

%include "datainterface.h"

%inline %{
bool CameraDataFromNVM(const char* name, std::vector<CameraT>& camera_data){
  return true;
}
%}

%template(CameraT) CameraT_<float>;
%template(CamVector) std::vector<CameraT>;

这让我可以用我的 addtions 运行你的测试文件:

import nvm

if __name__ == "__main__":
    datafile = '../../example-data/vidstills.nvm'
    cams = nvm.CamVector(1)

    assert nvm.CameraDataFromNVM(datafile, cams)

    print(cams[0])  # this yields no memory warnings
    cams[0].t = (1,2,3)
    print(cams[0].t[0])
    #print(cams[0].bar)

    # Yields: swig/python detected a memory leak of type 'CameraT *', no destructor found.
    c = list([i for i in cams])
    print(c)

这个解决方案有一个警告，它是可以解决的(通过返回代理对象)但不会自动破坏交易:

cams[0].t[0] = 1 
print(cams[0].t[0]) # Won't actually have changed

发生这种情况是因为我们返回了一个新的 Python 元组，其中有一个 t 的拷贝，所以这里的第二个下标运算符指的是它而不是原始的 C++ 数据。如果您也想修复该问题，则 out 类型映射必须返回一个具有 __getitem__ 和 __setitem__ 实现的代理，而不仅仅是一个元组。根据您期望如何使用代码，需要在速度/复杂性之间进行权衡。我有 an example of something similar to this ，您需要调整输出类型映射以创建 wrapped_array 并调整 wrapped_array 以保存指向您的真实数组的指针(以及对 Python 对象的引用，因此它不会在顺序错误)。