python - 为 Python C 扩展实现单元测试

Question

所以，我有一个 repo 来构建一个 python C 扩展，布局如下:

setup.py
demo.c
MANIFEST.in

C文件的内容是:

#include <Python.h>

static PyObject* print_message(PyObject* self, PyObject* args)
{
    const char* str_arg;
    if(!PyArg_ParseTuple(args, "s", &str_arg)) {
        puts("Could not parse the python arg!");
        return NULL;
    }
#ifdef USE_PRINTER
    printf("printer %s\n", str_arg);
#else
    printf("msg %s\n", str_arg);
#endif
    // This can also be done with Py_RETURN_NONE
    Py_INCREF(Py_None);
    return Py_None;
}

static PyMethodDef myMethods[] = {
    { "print_message", print_message, METH_VARARGS, "Prints a called string" },
    { NULL, NULL, 0, NULL }
};

// Our Module Definition struct
static struct PyModuleDef myModule = {
    PyModuleDef_HEAD_INIT,
    "DemoPackage",
    "A demo module for python c extensions",
    -1,
    myMethods
};

// Initializes our module using our above struct
PyMODINIT_FUNC PyInit_DemoPackage(void)
{
    return PyModule_Create(&myModule);
}

在我的 setup.py ，我有以下代码:

from distutils.core import setup, Extension

module1 = Extension('DemoPackage',
                    define_macros = [('USE_PRINTER', '1')],
                    include_dirs = ['include'],
                    sources = ['src/demo.c'])

setup (name = 'DemoPackage',
       version = '1.0',
       description = 'This is a demo package',
       author = '<first> <last>',
       author_email = 'person@site.com',
       url = 'https://docs.python.org/extending/building',
       long_description = open('README.md').read(),
       ext_modules = [module1])

我的问题是，如果我可以使用以下命令构建和安装包:

$ python setup.py 构建
$ python setup.py 安装

如何在 C 扩展的场景中合并或编写单元测试？我正在寻找与 setup.py 一起运行的单元测试，类似于测试如何为 cmake 工作。

Answer 1

我如何解决用 C 编写的 Python 扩展模块代码的单元测试问题是用 Python 为 pytest 编写单元测试。但随后将 Python 解释器嵌入到使用 Check 的单独 C 测试运行器中结束对 pytest 的调用.这可能看起来有点傻(老实说，它确实如此)，但由于 C 代码可能会泄漏内存并导致引发各种讨厌的信号，因此使用 Check 运行程序在单独的地址空间中运行所有内容，以便测试运行程序可以捕获任何信号并且(希望)对他们说些有意义的事情，而不是让我仅仅看到 Python 解释器崩溃。我想说对 C 扩展代码进行单元测试的方法是就地构建扩展，即使用 python3 setup.py build_ext --inplace这会将共享对象(我在 Linux 上)放在与您的 demo.c 相同的目录中文件(或源文件夹)，然后你可以使用任何你想要的单元测试。我个人使用make并且我的测试运行器的构建目标取决于成功构建的 C 扩展。
不幸的是，还没有人回答这个问题；我实际上希望有人有更好的方法来解决这个确切的问题。如果您有兴趣做类似的事情，这里是 Check 测试运行器和相关的示例代码 Makefile构建运行者的配方。

/* check/pytest_suite.h */

#ifndef PYTEST_SUITE_H
#define PYTEST_SUITE_H

#include <check.h>

Suite *pytest_suite();

#endif /* PYTEST_SUITE_H */

/* check/pytest_suite.c */

#define PY_SSIZE_T_CLEAN
#include "Python.h"

#include <stdio.h>
#include <check.h>
#include "pytest_suite.h"

START_TEST(print_stuff)
{
  // initialize interpreter, load pytest main and run (relies on pytest.ini)
  Py_Initialize();
  PyRun_SimpleString("from pytest import main\nmain()\n");
  // required finalization function; if something went wrong, exit immediately
  if (Py_FinalizeEx() < 0) {
    // __func__ only defined in C99+
    fprintf(stderr, "error: %s: Py_FinalizeEx error\n", __func__);
    exit(120);
  }
}
END_TEST

Suite *pytest_suite() {
  // create suite called pytest_suite + add test case named core
  Suite *suite = suite_create("pytest_suite");
  TCase *tc_core = tcase_create("core");
  // register case together with test func, add to suite, and return suite
  tcase_add_test(tc_core, print_stuff);
  suite_add_tcase(suite, tc_core);
  return suite;
}

/* check/runner.c */

#include <stdlib.h>
#include <stdio.h>
#include <string.h>

#include <check.h>

#include "pytest_suite.h"

int main(int argc, char **argv) {
  // instantiate our test suite. note this does not have to be freed!
  Suite *suite = pytest_suite();
  // create our suite runner and run all tests (CK_ENV -> set CK_VERBOSITY and
  // if not set, default to CK_NORMAL, i.e. only show failed)
  SRunner *runner = srunner_create(suite);
  srunner_run_all(runner, CK_ENV);
  // get number of failed tests and free runner
  int n_failed = srunner_ntests_failed(runner);
  srunner_free(runner);
  // succeed/fail depending on value of number of failed cases
  return (n_failed == 0) ? EXIT_SUCCESS : EXIT_FAILURE;
}

# Makefile (GNU make)

CC             = gcc
PYTHON        ?= python3
# dependencies for test running code
CHECK_DEPS     = $(wildcard check/*.c)
# use python3-config to get python compiler and linker flags for use when
# linking python into external C code (our test runner)
PY_CFLAGS     ?= -fPIE $(shell python3-config --cflags)
# --embed is required on ubuntu or -lpythonx.y is omitted by --ldflags
PY_LDFLAGS    ?= $(shell python3-config --embed --ldflags)
# linker flags specifically for compiling the test runner (libcheck)
CHECK_LDFLAGS  = $(PY_LDFLAGS) -lcheck

# build C extension module inplace. change dependencies as needed.
inplace: demo.c
    @$(PYTHON) setup.py build_ext --inplace

# build test runner and run unit tests using check
check: $(CHECK_DEPS) inplace
    @$(CC) $(PY_CFLAGS) -o runner $(CHECK_DEPS) $(CHECK_LDFLAGS)
    @./runner

当然，要使其工作，您需要在系统上安装 Check 和 GNU Make。我正在使用 WSL Ubuntu 18.04； make随发行版一起提供，我使用他们的 latest release 从头开始​​构建 Check .使用此设置，当我执行 make check , make inplace每当 demo.c 被调用已更新或 touch ed，我的测试运行器已构建并运行。
希望这至少能给你一些新的想法。