python - 我在做 cythonization 吗？

Question

我正在尝试让 cython 参与一个项目。

我的做法是:

1. 创建一个名为 make_cython.py 的文件

   import distutils.core
   import Cython.Build
   distutils.core.setup(ext_modules = Cython.Build.cythonize("main.py"))
   distutils.core.setup(ext_modules = Cython.Build.cythonize("helper.py"))
   

2. 运行 python3 make_cython.py build_ext --inplace

3. 对两个 cythnoized 文件运行

   gcc -shared -pthread -fPIC -fwrapv -O2 -Wall -fno-strict-aliasing       -Ipython/anaconda3/include/python3.9 -o main2.so main.c
   gcc -shared -pthread -fPIC -fwrapv -O2 -Wall -fno-strict-aliasing       -Ipython/anaconda3/include/python3.9 -o helper2.so helper.c
   

4. 将我的脚本中调用 main.py 和 helper.py 的所有导入调用更改为 import main2 和 导入 helper2。

现在，我有两个问题:

1. 如果 helper.py 和 main.py 本身有其他 .py 文件的导入，我是否需要对它们进行 cythonize也是，然后更改导入，然后对新文件进行 cythonize 处理，还是全部递归完成？

2. 尝试运行使用 main2.so (import main2) 和 helper2.so ( import helper2):

   ImportError: helper2.so: undefined symbol: Py_EnterRecursiveCall
   

我在编译中遗漏了什么？

Answer 1

没有。

几个简单的要点:

• 在 setup.py 中，您可以在一次调用 cythonize 中运行多个 Cython 文件(参见 https://cython.readthedocs.io/en/latest/src/userguide/source_files_and_compilation.html#multiple-cython-files-in-a-package)。有几种不同的方法 - 我认为 cythonize(["main.py", "helper.py"])可能会奏效。

• python3 make_cython.py build_ext --inplace应该生成 .so 文件，因此您无需执行第 2 步。

• 不要重命名任何东西! Python(和 Cython)导入机制非常依赖名称。如果您尝试导入 main2.<something>.so它将寻找一个名为 PyInit_main2 的 C 函数.如果文件被称为 main.py，那不会是 Cython 生成的 C 函数原来。

• Python 也会 import .so files ahead of .py files , 再次重申，无需重命名。

if helper.py and main.py themselves have import for other .py files, do I need to cythonize them too, and then change the imports, and then cythonize the new file, or is it all done recursively?

它不是递归完成的。 Cython 可以愉快地导入 .py 文件，因此您不需要全部用 Cython 化。

I get the error when trying to run files [...]

如果您只使用 setup.py 生成的文件，您可能会发现它消失了。但那是因为你没有链接 libpython。