python - 如何在多个 C 扩展之间共享 C 单例

Question

我有一个静态库(或一堆 c/cpp 文件)，其中包含一个单例并由/链接到两个不同的 C 扩展。但是，来自 C 库的单例不再像单例那样:

import getter
import setter

# set singleton:
setter.set(21)
# get singleton:
print("singleton: ", getter.get()) 
#prints the old value:42

为了简单起见，这是一个使用 Cython 说明此问题的最小示例(所有文件都在同一个文件夹中):
C库:

//lib.h:
int get_singleton(void);
void set_singleton(int new_val);

//lib.c:
#include "lib.h"

static int singleton=42;
int get_singleton(void){
    return singleton;
}
void set_singleton(int new_val){
    singleton=new_val;
}

两个 Cython 扩展:

# getter.pyx:
#cython: language_level=3

cdef extern from "lib.h":
    int get_singleton()

def get():
    return get_singleton()

# setter.pyx:
#cython: language_level=3

cdef extern from "lib.h":
    void set_singleton(int new_val);

def set(new_val):
    set_singleton(new_val)

SO-post 之后的安装文件:

#setup.py
from setuptools import setup, find_packages, Extension

setup(
      name='singleton_example',
      ext_modules=[Extension('getter', sources=['getter.pyx']), 
                   Extension('setter', sources=['setter.pyx']),],
      # will be build as static libraries and automatically passed to linker for all extensions:
      libraries = [('static_lib', {'sources': ["lib.c"]}) ] 
     )

通过 python setup.py build_clib build_ext --inplace 构建后，上面的python脚本就可以运行了。
在多个(Cython)-C-extensions 之间共享 C-singleton 的正确方法是什么？

Answer 1

手头的问题是变量 singleton 存在两次:一次在扩展 setter 中，一次在扩展 getter 中(函数 get_singleton 和 set_singleton 也存在两次，即每个都有两个不同的地址)，这或多或少违反了一个定义规则 ( ODR ) 即使此规则仅存在于 C++ 中。违反 ODR 并不是世界末日，但在大多数情况下，这种行为变得不可移植，因为不同的链接器/编译器/操作系统处理这种情况的方式不同。
例如，对于 Linux 上的共享库，我们有符号插入。但是，Python 使用没有 ldopen 的 RTLD_GLOBAL (意味着使用 RTLD_LOCAL 隐式)来加载 C 扩展，从而防止符号插入。我们可以在 Python 中强制使用 RTLD_GLOBAL:

import sys; import ctypes;
sys.setdlopenflags(sys.getdlopenflags() | ctypes.RTLD_GLOBAL)

在导入 getter 和 setter 并再次恢复单例属性之前。然而，这在 Windows 上不起作用，因为 dll 不支持符号插入。
确保“单例属性”的可移植方法是避免违反 ODR，并且为了实现这一点，应该使静态库/文件束动态化。这个动态库只会被进程加载一次，从而确保我们只有一个 singleton 。
根据场景，有一些选项可以如何使用这个 dll:

扩展仅在本地使用而不是分发，使用共享对象(请参阅此 SO-post )或 dll(请参阅此 SO-post )。

扩展仅在某些平台上分发，然后可以预构建共享对象/dll并像第三方库一样分发它们，例如看这个SO-post

可以覆盖 setuptools 的 build_clib 命令，因此它将构建一个共享对象/dll 而不是静态库，当扩展链接并复制到安装时将使用该静态库。然而，添加更多的扩展，这将使用这个 dll 非常麻烦(即使不是不可能)。

可以编写 dll 的 cython-wrapper，它的优点是使用 Python 的机器进行加载和 posponing the resultion of the symbols 直到​​运行时，而不是底层操作系统的链接器/加载器，这使得例如更容易稍后根据动态库创建更多扩展。

我认为应该默认使用最后一种方法。这是一个可能的实现:

创建静态库的包装器并通过 pxd -file 公开其功能:

# lib_wrapper.pxd
cdef int get_singleton()
cdef void set_singleton(int new_value)

#lib_wrapper.pyx
cdef extern from "lib.h":
    int c_get_singleton "get_singleton" ()
    void c_set_singleton "set_singleton" (int new_val)

cdef int get_singleton():
    return c_get_singleton()

cdef void set_singleton(int new_val):
    c_set_singleton(new_val)

一个重要的部分:包装器引入了一个间接级别(因此引入了许多应该自动化的样板代码编写)，因此在进一步的模块中使用它时，既不需要头文件也不需要 c 文件/库。

调整其他模块，他们只需要cimport包装器:

# getter.pyx:
#cython: language_level=3
cimport lib_wrapper
def get():
    return lib_wrapper.get_singleton()

# setter.pyx:
#cython: language_level=3
cimport lib_wrapper
def set(new_val):
    lib_wrapper.set_singleton(new_val)

安装程序不再需要 build_clib -step:

from setuptools import setup, find_packages, Extension

setup(
      name='singleton_example',
      ext_modules=[Extension('lib_wrapper', sources=['lib_wrapper.pyx', 'lib.c']),
                   Extension('getter', sources=['getter.pyx']), 
                   Extension('setter', sources=['setter.pyx']),],
     )

通过 python setup.py build_ext --inplace 构建后(在源代码分发中，即 python setup.py build sdist 将丢失 h 文件，但可能有许多不同的解决方案)该示例将 set/ get 相同的单例(因为只有一个)。