python - 如何使用已编译的 Fortran 扩展模块构建 Python 轮而不需要用户系统上的特定 MinGW 版本？

Question

据我所知，通过 wheels 分发 Python 包的主要优点之一是我可以以编译形式包含扩展模块。然后，包的用户不需要有一个允许编译源代码的系统。

现在我设法为我的包构建了一个包含 Fortran 扩展模块的轮子。我构建的计算机有 Windows7 64 和 Python 3.6。

为了让一切运行起来，我遵循了这个非常有用的 guideline (非常感谢 Michael Hirsch)。其中一个步骤是安装 MinGW-64具有以下设置:体系结构:x86_64，线程:posix，异常:seh。

然后我在另一台测试机(Win10 64，Python 3.6)上安装了 Python 包:

D:\dist2>pip install SMUTHI-0.2.0a0-cp36-cp36m-win_amd64.whl
Processing d:\dist2\smuthi-0.2.0a0-cp36-cp36m-win_amd64.whl
Requirement already satisfied: scipy in c:\programdata\anaconda3\lib\site-packages (from SMUTHI==0.2.0a0)
Requirement already satisfied: sympy in c:\programdata\anaconda3\lib\site-packages (from SMUTHI==0.2.0a0)
Requirement already satisfied: argparse in c:\programdata\anaconda3\lib\site-packages (from SMUTHI==0.2.0a0)
Requirement already satisfied: numpy in c:\programdata\anaconda3\lib\site-packages (from SMUTHI==0.2.0a0)
Requirement already satisfied: matplotlib in c:\programdata\anaconda3\lib\site-packages (from SMUTHI==0.2.0a0)
Requirement already satisfied: pyyaml in c:\programdata\anaconda3\lib\site-packages (from SMUTHI==0.2.0a0)
Requirement already satisfied: six>=1.10 in c:\programdata\anaconda3\lib\site-packages (from matplotlib->SMUTHI==0.2.0a0)
Requirement already satisfied: python-dateutil in c:\programdata\anaconda3\lib\site-packages (from matplotlib->SMUTHI==0.2.0a0)
Requirement already satisfied: pytz in c:\programdata\anaconda3\lib\site-packages (from matplotlib->SMUTHI==0.2.0a0)
Requirement already satisfied: cycler>=0.10 in c:\programdata\anaconda3\lib\site-packages (from matplotlib->SMUTHI==0.2.0a0)
Requirement already satisfied: pyparsing!=2.0.4,!=2.1.2,!=2.1.6,>=1.5.6 in c:\programdata\anaconda3\lib\site-packages (from matplotlib->SMUTHI==0.2.0a0)
Installing collected packages: SMUTHI
Successfully installed SMUTHI-0.2.0a0

但是，当我开始测试运行程序时，遇到了以下错误:

D:\dist2>smuthi example_input.dat
Traceback (most recent call last):
  File "c:\programdata\anaconda3\lib\runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "c:\programdata\anaconda3\lib\runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "C:\ProgramData\Anaconda3\Scripts\smuthi.exe\__main__.py", line 5, in <module>
  File "c:\programdata\anaconda3\lib\site-packages\smuthi\__main__.py", line 4, in <module>
    import smuthi.read_input
  File "c:\programdata\anaconda3\lib\site-packages\smuthi\read_input.py", line 3, in <module>
    import smuthi.simulation
  File "c:\programdata\anaconda3\lib\site-packages\smuthi\simulation.py", line 8, in <module>
    import smuthi.t_matrix as tmt
  File "c:\programdata\anaconda3\lib\site-packages\smuthi\t_matrix.py", line 6, in <module>
    import smuthi.nfmds.t_matrix_axsym as nftaxs
  File "c:\programdata\anaconda3\lib\site-packages\smuthi\nfmds\t_matrix_axsym.py", line 11, in <module>
    import smuthi.nfmds.taxsym
ImportError: DLL load failed: Das angegebene Modul wurde nicht gefunden.

扩展名 .pyd 文件 (taxsym.cp36-win_amd64.pyd) 在它的位置——只是 Python 无法加载它。

接下来，我从测试机器上卸载了 MinGW，并使用我在构建机器上使用的相同设置重新安装了 MinGW-64(见上文)。之后，我可以运行该程序，Python 能够正确加载扩展模块。

我的问题是:有没有人知道错误首先发生的原因？我怎样才能避免我的 Python 包的用户必须安装特定版本的 MinGW(甚至任何版本)才能使包正常工作？

---

编辑:一个重现错误的小例子:

最小示例

文件结构:

setup.py
example/
    __init__.py
    run_hello.py
    extension_package/
        __init__.py             
        fortran_hello.f90

setup.py 内容如下:

import setuptools
from numpy.distutils.core import Extension
from numpy.distutils.core import setup

setup(
   name="example",
   version="0.1",
   author="My Name",
   author_email="my@email.com",
   description="Example package to demonstrate wheel issue",
   packages=['example', 'example.extension_package'],
   ext_modules=[Extension('example.extension_package.fortran_hello',
                          ['example/extension_package/fortran_hello.f90'])],
)

run_hello.py 内容如下:

import example.extension_package.fortran_hello
example.extension_package.fortran_hello.hello()
          

fortran_hello.f90 内容如下:

subroutine hello
print *,"Hello World!"
end subroutine hello

创建轮子

我运行了 python setup.py bdist_wheel 生成了文件 example-0.1-cp36-cp36m-win_amd64.whl

在具有正确 MinGW 版本的机器上安装包

D:\dist>pip install example-0.1-cp36-cp36m-win_amd64.whl
Processing d:\dist\example-0.1-cp36-cp36m-win_amd64.whl
Installing collected packages: example
Successfully installed example-0.1

D:\dist>python
Python 3.6.0 |Anaconda 4.3.1 (64-bit)| (default, Dec 23 2016, 11:57:41) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import example.run_hello
 Hello World!
>>> exit()

这是应该的。

在没有正确 MinGW 版本的机器上安装包

为了重现错误，我将测试机器上的 MinGW 文件夹重命名为其他名称，然后:

D:\dist>pip install example-0.1-cp36-cp36m-win_amd64.whl
Processing d:\dist\example-0.1-cp36-cp36m-win_amd64.whl
Installing collected packages: example
Successfully installed example-0.1

D:\dist>python
Python 3.6.0 |Anaconda 4.3.1 (64-bit)| (default, Dec 23 2016, 11:57:41) [MSC v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import example.run_hello
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\ProgramData\Anaconda3\lib\site-packages\example\run_hello.py", line 1, in <module>
    import example.extension_package.fortran_hello
ImportError: DLL load failed: Das angegebene Modul wurde nicht gefunden.

Answer 1

我最近通过单独编译和链接所有组件来编写自己的 f2py 构建工具链时遇到了这个问题。如果尚未在路径中找到所需的编译器，则该脚本会自动查找或安装所需的编译器。对于 gfortran 工具不在路径上但在机器上的情况，我能够将正确的环境变量注入(inject) os.environ 并使用 Popen 生成编译器调用> 和一组环境变量，以便 pyd 可以编译。但是在那个 python 实例之外，环境变量对于 pyd 的运行是不正确的，即使在编译 pyds 但没有正确路径的同一台计算机上，我也得到了相同的 DLL load failed 错误设置。

因此，由于我单独编译所有步骤，仅使用 f2py 生成 f 和 c 包装器，我只是将 -static -static-libgfortran -static-libgcc 添加到我的链接步骤中，这会导致 pyd 包含在那些没有正确环境变量的机器上运行所需的库。

可以使用 numpy.distutils 实现同样的效果(感谢 https://github.com/numpy/numpy/issues/3405 ):

from numpy.distutils.core import Extension, setup


if __name__ == "__main__":
    setup(
        name="this",
        ext_modules=[
            Extension("fortmod_nostatic",
                      ["src/code.f90"],
                      ),
            Extension("fortmod_withstatic",
                      ["src/code.f90"],
                      extra_link_args=["-static", "-static-libgfortran", "-static-libgcc"]
                      )
        ]
    )

我将以上内容放入文件 test.py 并使用 python test.py build_ext --inplace --compiler=mingw32 --fcompiler=gnu95 -f 构建

为了比较，有一个清晰的 size difference .使用 dependency walker 检查 pyd 显示 nostatic一个依赖于 libgfortran-4.dll 而额外的标志生成一个 pyd does not depend on this library .在我的例子中，在添加静态标志后，没有正确环境变量的机器能够运行 pyds，我怀疑这种情况与你的情况类似，因为对 libgfortran 的依赖被删除。

希望对您有所帮助!我的第一个 SO 帖子..