c - 如何使用 Cython 将 C 结构数组转换为 numpy 数组

Question

我正在尝试创建一个 Python 模块，将从 C 共享库返回的 C 结构数组转换为 Numpy 数组。我对 Numpy 和 Cython 都很陌生(但已经使用 C 很长时间了)，所以我一直在学习。一些注意事项:1) C共享库，称为HBTrial，位于不同的目录中2) C 代码 calloc() 的内存，填充结构并返回指向结构数组的指针3)我需要返回的数组是一个 Numpy 数组(最好是一个结构化数组，然后可能会转换为 Pandas Dataframe)

在尝试了很多事情之后，我通过执行以下操作获得了最远的结果(包括编译 .pyx 文件)。

试验.pyx

import cython
from cpython.ref cimport PyTypeObject
cimport numpy as np
import numpy as np
cimport HBtrial


cdef extern from "numpy/ndarrayobject.h":
    object PyArray_NewFromDescr(PyTypeObject *subtype,
        np.dtype newdtype,
        int nd,
        np.npy_intp* dims,
        np.npy_intp* strides,
        void* data,
        int flags,
        object parent)

np.import_array()

class MyStruct(object):
    dtype_mystruct = np.dtype ([('item', 'S16'),
                                ('date', 'S16'),
                                ('val1', 'u1'),
                                ('val2', 'u1'),
                                ('val3', 'i2')
                               ])

    def __init__(self):
        pass

    def return_dtype(self):
        return self.dtype_mystruct

    @cython.boundscheck(False)
    def return_values(self):
        cdef int rows
        cdef HBtrial.MYSTRUCT *arr = HBtrial.return_values(&rows)

        print arr[1]
        print "npy array"
        cdef np.npy_intp dims = rows

        nparr = np.PyArray_NewFromDescr(np.ndarray,
                                        self.dtype_mystruct,
                                        1,
                                        dims,
                                        <object>NULL,
                                        <object><void *>arr,
                                        0,
                                        <object>NULL)

        print nparr[1]
        return nparr

它编译得很好，但后来我尝试在小型 Python 脚本中使用它，如下所示:

try.py:

#!/usr/bin/env python

import sys
import os
import numpy as np

from trial import MyStruct

def main():
    mystruct = MyStruct()
    dt = mystruct.return_dtype()
    print dt
    arr = mystruct.return_values()
    print arr

if __name__ == "__main__":
    main()

当我运行它时，它可以很好地打印出“print dt”行，但出现以下错误:

Traceback (most recent call last):
  File "./try.py", line 18, in <module>
    main()
  File "./try.py", line 14, in main
    arr = mystruct.return_values()
  File "trial.pyx", line 43, in trial.MyStruct.return_values (trial.c:1569)
    nparr = np.PyArray_NewFromDescr(np.ndarray,
AttributeError: 'module' object has no attribute 'PyArray_NewFromDescr'

如何克服此错误？我觉得我可能错过了一些基本的东西。有任何想法吗？如果我的方法完全错误，也请告诉我。

这里是其他文件，如果有帮助的话:

试验.pxd:

from libc.stdint cimport int8_t, int16_t, uint8_t, uint16_t

cdef extern from "HBtrial.h" nogil:

    ctypedef packed struct MYSTRUCT:
        char item[16];
        char date[16];
        uint8_t val1;
        uint8_t val2;
        int16_t val3;

    cdef MYSTRUCT *return_values(int *rows)

HBTrial.h:

#ifndef HBTRIAL_H
#define HBTRIAL_H

typedef struct {
    char item[16];
    char date[16];
    uint8_t val1;
    uint8_t val2;
    int16_t val3;
} MYSTRUCT;

MYSTRUCT *return_values(int *rows);

#endif

HBTrial.c:

#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
#include "HBtrial.h"

MYSTRUCT *return_values(int *rows)
{
    int i;
    MYSTRUCT *arr;
    int numrows = 5;

    arr = calloc(numrows, sizeof(MYSTRUCT));

    for (i=0; i < numrows; i++) {
        sprintf(arr[i].item, "row%d", i);
        sprintf(arr[i].date, "201908100%d", i+1);
        arr[i].val1 = i+2;
        arr[i].val2 = i+i;
        arr[i].val3 = i*i;
    }
    *rows = numrows;
    return(arr);
}

HBTrial.c 和 HBTrial.h 位于/home/xxxx/lib/try3 中，并被编译成共享库“libHBTrial.so”。

setup.py:

from distutils.core import setup
from distutils.extension import Extension
from Cython.Build import cythonize
import numpy as np

trial = Extension(
    name="trial",
    sources=["trial.pyx"],
    extra_compile_args=["-std=c99"],
    libraries=["HBtrial"],
    library_dirs=["/home/xxxx/lib/try3"],
    include_dirs=[np.get_include(), "/home/xxxx/lib/try3"]
)

setup(
    name="trial",
    ext_modules=cythonize([trial])
)

如果有更好的方法，我也会感兴趣。例如，我尝试了其他方法，例如将返回的数组转换为 Cython 类型的内存 View ，或使用 np.frombuffer()，但总是收到错误 “无法将 MYSTRUCT * 转换为” 内存 View 或python 对象或其他任何东西。

Answer 1

好吧，我终于成功了。感谢 @ead 的评论以及我已经在考虑的事情，我需要 cdef 对 PyArray_FromNewDescr 的调用并更改几个参数。
作为“cdef extern...” block 的一部分，我添加了:

PyTypeObject PyArray_Type

然后对例程的调用变为:

cdef np.ndarray nparr = PyArray_NewFromDescr(&PyArray_Type,
                                            self.dtype_mystruct,
                                            1,
                                            &dims,
                                            NULL,
                                            <void *>arr,
                                            0,
                                            <object>NULL)

现在我可以在从例程返回时使用正确的值打印数组。
至于内存泄漏，根据我发现的其他帖子，我应该能够通过在返回数组之前设置 OWNDATA 标志来解决这个问题，对吗？