numpy - 将 Cython 包装的 C 函数与来自 NumPy 的 BLAS 链接起来

Question

我想在 Cython 扩展中使用一些在使用 BLAS 子例程的 .c 文件中定义的 C 函数，例如

c文件.c

double ddot(int *N, double *DX, int *INCX, double *DY, int *INCY);

double call_ddot(double* a, double* b, int n){
    int one = 1;
    return ddot(&n, a, &one, b, &one);
}

(假设这些函数不仅仅调用一个 BLAS 子例程)

py文件.pyx

cimport numpy as np
import numpy as np

cdef extern from "cfile.c":
    double call_ddot(double* a, double* b, int n)

def pyfun(np.ndarray[double, ndim=1] a):
    return call_ddot(&a[0], &a[0], <int> a.shape[0])

设置.py:

from distutils.core import setup
from distutils.extension import Extension
from Cython.Build import cythonize
from Cython.Distutils import build_ext
import numpy

setup(
    name  = "wrapped_cfun",
    packages = ["wrapped_cfun"],
    cmdclass = {'build_ext': build_ext},
    ext_modules = [Extension("wrapped_cfun.cython_part", sources=["pyfile.pyx"], include_dirs=[numpy.get_include()])]
)

我希望这个包链接到已安装的 NumPy 或 SciPy 正在使用的同一个 BLAS 库，并且希望它可以在不同的操作系统下使用 numpy 或 scipy 作为依赖项从 PIP 安装，而不需要任何额外的 BLAS 相关依赖项.

setup.py 是否有任何 hack 可以让我以一种可以与任何 BLAS 实现一起工作的方式完成此任务？

更新:使用 MKL，我可以通过修改 Extension 对象使其指向 libmkl_rt 来使其工作，如果安装了 MKL，则可以从 numpy 中提取它，例如:Extension("wrapped_cfun.cython_part", sources=["pyfile.pyx"], include_dirs=[numpy.get_include()], extra_link_args=["-L{python 库目录的路径}", "-l: libmkl_rt.{so, dll, dylib}"])然而，同样的技巧对 OpenBLAS 不起作用(例如 -l:libopenblasp-r0.2.20.so)。如果该文件是指向 libopenblas 的链接，则指向 libblas.{so,dll,dylib} 将不起作用，但可以正常工作，它是指向 libmkl_rt 的链接。

更新 2:OpenBLAS 似乎在末尾用下划线命名他们的 C 函数，例如不是 ddot 而是 ddot_。如果我将 .c 文件中的 ddot 更改为 ddot_，则上面带有 l:libopenblas 的代码将起作用。我仍然想知道是否有某种(理想情况下是运行时)机制来检测应在 c 文件中使用哪个名称。

Answer 1

依赖链接器/加载器来提供正确的 blas 功能的替代方法是模拟必要 blas 符号的解析(例如 ddot)并使用包装的 blas-function provided by scipy在运行期间。

不确定，这种方法优于“正常方式”的构建方式，但想引起您的注意，即使只是因为我觉得这种方法很有趣。

简而言之:

1. 定义一个指向 ddot 功能的显式函数指针，在下面的代码片段中称为 my_ddot。
2. 使用 my_ddot - 您将使用 ddot 的指针 - 否则。
3. 当 cython 模块加载了 scipy 提供的功能时，初始化 my_ddot 指针。

这是一个工作原型(prototype)(我使用 C-code-verbatim 使代码段独立并在 jupiter-notebook 中轻松测试，相信您可以将其转换为您需要/喜欢的格式):

%%cython
# h-file:
cdef extern from *:
    """
    // blas-functionality,
    // will be initialized by cython when module is loaded:
    typedef double (*ddot_t)(int *N, double *DX, int *INCX, double *DY, int *INCY);
    extern ddot_t my_ddot;

    double call_ddot(double* a, double* b, int n);
    """
    ctypedef double (*ddot_t)(int *N, double *DX, int *INCX, double *DY, int *INCY)
    ddot_t my_ddot
    double call_ddot(double* a, double* b, int n)    

# init the functions of the c-library
# with blas-function provided by scipy
from scipy.linalg.cython_blas cimport ddot
my_ddot=ddot

# a simple function to demonstrate, that it works
def ddot_mult(double[:]a, double[:]b):
    cdef int n=len(a)
    return call_ddot(&a[0], &b[0], n)

#-------------------------------------------------
# c-file, added so the example is complete    
cdef extern from *:
    """  
    ddot_t my_ddot;
    double call_ddot(double* a, double* b, int n){
        int one = 1;
        return my_ddot(&n, a, &one, b, &one);
    }
    """
    pass

现在 ddot_mult 可以使用了:

import numpy as np
a=np.arange(4, dtype=float)

ddot_mult(a,a)  # 14.0 as expected!

这种方法的一个优点是，distutils 没有任何麻烦，您可以保证使用与 scipy 相同的 blas 功能。

另一个好处:可以在运行时切换使用的引擎(mkl、open_blas 甚至是自己的实现)，而无需重新编译/重新链接。

另一方面，还有一些额外的样板代码和危险，即某些符号的初始化将被遗忘。