python - 检索 virtualenv 中 Python 库的外部 C/Fortran 依赖项列表

Question

我正在维护一个项目，该项目使用许多 Python 库，例如 numpy、pandas 和 netcdf4，它们具有以下依赖项libhdf5、ATLAS、LAPACK 等。在使用 pip 安装之前，我已经通过我的系统包管理器安装了这些库。现在需要列出所有需要的依赖项，包括 C/Fortran 依赖项。 (当然，使用 pip freeze 和 pipdeptree Python 非常简单)有什么方法可以显示正在使用哪些链接的 C/Fortran 库？如果做不到这一点，是否有任何方法可以显示使用 C 依赖项的 Python 库的构建选项？

编辑:this answer详细介绍了如何通过 ldd 为 numpy 以及可能具有 C 依赖项的其他库执行此操作。全面推荐的方法是什么？

Answer 1

在 Linux 系统上，您可以获得动态链接器以转储各种调试信息，您可以从中收集此类信息(参见 ld.so(8))。例如，我有一个名为 plot_all 的 python 程序，如果我将其调用为:

LD_DEBUG=libs plot_all 2> ld-libs-output

然后动态链接器会将其所有库文件信息输出到文件ld-libs-output。这将包含该文件要运行的每个动态库依赖项。如果进一步处理，例如:

grep "calling init" ld-libs-output | cut -f3 -d: | sort | uniq > LDLibs

您将获得在执行 python 脚本的过程中加载的所有唯一库的排序列表。如果你想把它变成依赖信息，你可以使用你的分发工具将文件映射到包。在 Gentoo 上，我可以使用如下命令查询拥有这些库的包:

 equery -q b -n $(cat LDLibs | grep "calling init" | cut -f3 -d: | sort | uniq) | sort | uniq

此命令的输出是所有包的排序列表，这些包至少拥有一个在我的脚本执行期间动态加载的库:

app-arch/bzip2
app-arch/lz4
app-arch/xz-utils
dev-lang/python
dev-libs/expat
dev-libs/glib
dev-libs/icu
dev-libs/libffi
dev-libs/libpcre
dev-libs/libxml2
dev-libs/openssl
dev-python/h5py
dev-python/matplotlib
dev-python/mpi4py
dev-python/numpy
dev-python/pillow
dev-python/PyQt5
dev-python/sip
dev-qt/qtcore
dev-qt/qtdbus
dev-qt/qtgui
dev-qt/qtsvg
dev-qt/qtwidgets
media-gfx/graphite2
media-libs/fontconfig
media-libs/freetype
media-libs/harfbuzz
media-libs/jpeg
media-libs/libpng
media-libs/openjpeg
media-libs/tiff
sci-libs/blas-reference
sci-libs/cblas-reference
sci-libs/hdf5
sci-libs/lapack-reference
sci-libs/szip
sys-apps/attr
sys-apps/dbus
sys-apps/hwloc
sys-apps/systemd
sys-apps/util-linux
sys-cluster/openmpi
sys-devel/gcc
sys-libs/glibc
sys-libs/libcap
sys-libs/zlib
sys-process/numactl
x11-drivers/nvidia-drivers
x11-libs/libICE
x11-libs/libpciaccess
x11-libs/libSM
x11-libs/libX11
x11-libs/libXau
x11-libs/libxcb
x11-libs/libXcursor
x11-libs/libXdmcp
x11-libs/libXext
x11-libs/libXfixes
x11-libs/libXi
x11-libs/libxkbcommon
x11-libs/libXrender
x11-libs/xcb-util
x11-libs/xcb-util-image
x11-libs/xcb-util-keysyms
x11-libs/xcb-util-renderutil
x11-libs/xcb-util-wm

这个列表非常冗长，你可以看到它引入了非常深的依赖包，远远超过了我们真正需要的和一些依赖于环境的包(例如，对 nvidia-drivers 的依赖不适用于没有 nvidia 显卡的人).要将其变成一个有用的列表，您必须查看依赖关系图并且只依赖于顶级包，因为它们会隐式地引入它们下面的包。分析这些包的一级依赖，所有包都可以拉进来，最小列表:

dev-python/h5py
dev-python/matplotlib
dev-python/pillow
sys-libs/glibc

然后我会对我的 python 包中的任何其他脚本重复此操作，并将所有信息合并到我的包的主依赖列表中。

---

这应该让您了解发现 python 脚本所依赖的发行包的一般工作流程。在我的例子中，python 外部的所有 C/Fortran 依赖项都是由发行版 python 包引入的，但是这个过程会发现任何其他所需的顶级包。工作流将需要修改为您的发行版工具，用于将文件与包匹配并分析依赖关系。