python - 如何处理 Linux/Python 依赖？

Question

由于我想使用的一些库缺乏支持，我将一些Python开发从Windows转移到Linux开发。一天中的大部分时间，我都在为依赖项的无处可去而烦恼。

问题

每当我使用 Linux 时，我通常会遇到某种依赖性问题，通常是开发库，无论它们是通过 apt-get、easy_install 还是 pip 安装的。我可以在本应是简单的任务上浪费几天时间，花更多的时间在让库工作上而不是编写代码上。 我在哪里可以了解处理此类问题的策略，而不是漫无目的地在谷歌上搜索以前遇到过同样问题的人？

---

一个例子

仅举一个例子:我想生成一些二维码。所以，我想我会使用 github.com/bitly/pyqrencode这是基于 pyqrcode.sourceforge.net但据说没有 Java 依赖项。还有其他( pyqrnative 、 github.com/Arachnid/pyqrencode )，但那个似乎是满足我需求的最佳选择。

所以，我在 pypi 上找到了包裹并认为使用它会让生活更轻松:

(通过使用 virtualenv 来保持整洁，我可能让自己的生活变得更加困难。)

(myenv3)mat@ubuntu:~/myenv3$ bin/pip install pyqrencode
Downloading/unpacking pyqrencode
  Downloading pyqrencode-0.2.tar.gz
  Running setup.py egg_info for package pyqrencode

Installing collected packages: pyqrencode
  Running setup.py install for pyqrencode
    building 'qrencode' extension
    gcc -pthread -fno-strict-aliasing -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -fPIC -I/usr/include/python2.7 -c qrencode.c -o build/temp.linux-i686-2.7/qrencode.o
    gcc -pthread -shared -Wl,-O1 -Wl,-Bsymbolic-functions -Wl,-Bsymbolic-functions build/temp.linux-i686-2.7/qrencode.o -lqrencode -o build/lib.linux-i686-2.7/qrencode.so

Successfully installed pyqrencode
Cleaning up...

(我想我也可能在那之前的某个时候sudo apt-get install libqrencode-dev。)

然后我尝试运行测试脚本:

(myenv3)mat@ubuntu:~/myenv3$ python test_qr.py 
Traceback (most recent call last):
  File "test_qr.py", line 1, in <module>
    from qrencode import Encoder
  File "qrencode.pyx", line 1, in init qrencode (qrencode.c:1520)
ImportError: No module named ImageOps

:(

嗯，investigations透露 ImageOps 似乎是 PIL 的一部分......

(myenv3)mat@ubuntu:~/myenv3$ pip install pil
Downloading/unpacking pil
  Downloading PIL-1.1.7.tar.gz (506Kb): 122Kb downloaded
Operation cancelled by user
Storing complete log in /home/mat/.pip/pip.log
(myenv3)mat@ubuntu:~/myenv3$ bin/pip install pil
Downloading/unpacking pil
  Downloading PIL-1.1.7.tar.gz (506Kb): 506Kb downloaded
  Running setup.py egg_info for package pil
    WARNING: '' not a valid package name; please use only.-separated package names in setup.py

Installing collected packages: pil
  Running setup.py install for pil
    WARNING: '' not a valid package name; please use only.-separated package names in setup.py
    building '_imaging' extension
    gcc ...
    building '_imagingmath' extension
    gcc ...
    --------------------------------------------------------------------
    PIL 1.1.7 SETUP SUMMARY
    --------------------------------------------------------------------
    version       1.1.7
    platform      linux2 2.7.1+ (r271:86832, Apr 11 2011, 18:05:24)
                  [GCC 4.5.2]
    --------------------------------------------------------------------
    *** TKINTER support not available
    *** JPEG support not available
    *** ZLIB (PNG/ZIP) support not available
    *** FREETYPE2 support not available
    *** LITTLECMS support not available
    --------------------------------------------------------------------
    To add a missing option, make sure you have the required
    library, and set the corresponding ROOT variable in the
    setup.py script.

    To check the build, run the selftest.py script.
    ...
Successfully installed pil
Cleaning up...

嗯，PIL 已安装，但尚未获取我之前使用 sudo apt-get install libjpeg62 libjpeg62-dev libpng12-dev zlib1g zlib1g-dev 安装的库。我不确定如何告诉 pip 将库位置提供给 setup.py。谷歌搜索建议各种 ideas我已经尝试过了，但除了让我绕圈子之外，它们似乎没有太大帮助。

Ubuntu 11.04: Installing PIL into a virtualenv with PIP建议使用 pillow而是打包，所以让我们试试看:

(myenv3)mat@ubuntu:~/myenv3$ pip install pillow
Downloading/unpacking pillow
  Downloading Pillow-1.7.5.zip (637Kb): 637Kb downloaded
  Running setup.py egg_info for package pillow

    ...
Installing collected packages: pillow
  Running setup.py install for pillow
    building '_imaging' extension
    gcc ...
    --------------------------------------------------------------------
    SETUP SUMMARY (Pillow 1.7.5 / PIL 1.1.7)
    --------------------------------------------------------------------
    version       1.7.5
    platform      linux2 2.7.1+ (r271:86832, Apr 11 2011, 18:05:24)
                  [GCC 4.5.2]
    --------------------------------------------------------------------
    *** TKINTER support not available
    --- JPEG support available
    --- ZLIB (PNG/ZIP) support available
    --- FREETYPE2 support available
    *** LITTLECMS support not available
    --------------------------------------------------------------------
    To add a missing option, make sure you have the required
    library, and set the corresponding ROOT variable in the
    setup.py script.

    To check the build, run the selftest.py script.
    ...
Successfully installed pillow
Cleaning up...

好吧，这次我们似乎有了 JPEG 和 PNG 支持，耶!

(myenv3)mat@ubuntu:~/myenv3$ python test_qr.py 
Traceback (most recent call last):
  File "test_qr.py", line 1, in <module>
    from qrencode import Encoder
  File "qrencode.pyx", line 1, in init qrencode (qrencode.c:1520)
ImportError: No module named ImageOps

虽然仍然没有 ImageOps。现在我很困惑，pillow 中是否缺少 ImageOps，还是 pil 也存在其他问题。

Answer 1

我在这里看到两个不同的问题:

1. 跟踪项目所需的所有 python 模块。

2. 跟踪项目中 python 模块所需的所有动态库。

对于第一个问题，我发现buildout是很好的帮助，尽管需要一点时间才能掌握。

对于您的情况，我将从为我的新项目创建一个目录开始。然后我会进入该目录并下载 bootstrap.py

wget http://python-distribute.org/bootstrap.py 

然后我会创建一个 buildout.cfg 文件:

[buildout]
parts = qrproject
        python
eggs = pyqrencode

[qrproject]
recipe = z3c.recipe.scripts
eggs = ${buildout:eggs}
entry-points= qrproject=qrprojectmodule:run
extra-paths = ${buildout:directory}

# This is a simple way of creating an interpreter that will have
# access to all the eggs / modules that this project uses.
[python]
recipe = z3c.recipe.scripts
interpreter = python
eggs = ${buildout:eggs}
extra-paths = ${buildout:directory}

在这个 buildout.cfg 中，我引用了模块 qrprojectmodule(在 [qrproject] 入口点中em>。这将在模块 qrprojectmodule 中创建一个运行函数 run 的 bin/qrproject。所以我还将创建文件 qrprojectmodule.py

import qrencode

def run():
    print "Entry point for qrproject. Happily imports qrencode module"

现在是时候使用您要使用的 python 二进制文件运行 bootstrap.py 了:

python bootstrap.py

然后运行生成的bin/buildout

bin/buildout

这将在 bin/ 目录中创建两个额外的二进制文件 - bin/qrproject 和 bin/python。前者是您项目的主要二进制文件。它会在您每次运行 buildout 时自动创建，并将包含您想要加载的所有模块和蛋。第二种是获取 python 提示的简便方法，其中加载了所有模块和 egg，以便于调试。这里的好处是 bin/buildout 将自动安装 eggs(在你的例子中是 pyqrencode)指定为依赖项的任何 python eggs。

实际上，您可能会在运行 bin/buildout 的步骤中遇到编译错误。这是因为您需要解决问题 2:所有动态库都在您的系统上可用。在 Linux 上，通常最好从您的打包系统获得帮助。我假设您在这里使用的是 Debian 派生版本，例如 Ubuntu。

pyqrencode 网站指定您需要 libqrencode 库才能使 pyqrencode 工作。所以我用我的包管理器来搜索:

$ apt-cache search libqrencode
libqrencode-dev - QR Code encoding library -- development
libqrencode3 - QR Code encoding library
qrencode - QR Code encoder into PNG image

在这种情况下，我需要 -dev 包，因为它会安装编译 python C 模块所需的可链接库和头文件。此外，包管理器中的依赖系统将确保如果我安装 libqrencode-dev，我也会得到 libqrencode3，因为它在运行时需要，即在编译之后模块的。

所以，我安装包:

sudo apt-get install libqrencode-dev

完成后，重新运行 bin/buildout 并且 pyqrencode 模块将(希望)编译并成功安装。现在尝试运行 bin/qrproject

$ bin/qrproject 
Entry point for qrproject. Happily imports qrencode module

成功了! :-)

所以，总结一下:

1. 使用 buildout 自动下载并安装项目所需的所有 python 模块/egg。

2. 使用系统的包管理器安装您使用的 python 模块所需的任何动态 (C) 库。

请注意，在许多情况下，包系统中已经提供了 python 模块的打包版本。例如，pil 可以通过在 Ubuntu 上安装 python-imaging 包获得。在这种情况下，您不需要通过 buildout 安装它，也不必担心库是否可用——包管理器将安装模块运行所需的所有依赖项。然而，通过构建来完成它可以更容易地分发您的项目并使其在其他系统上运行。