python - 从 ipython 运行时按预期将包添加到 sys.path 导入的脚本，但从 python 运行脚本时抛出异常

Question

我是一个迷茫的 Python 爱好者。我发了What else can I do to troubleshoot a package not importing in python yet imports in ipython while in a virtualenv?以为我的 virtualenv 有问题。一些更多的故障排除表明情况可能并非如此。

我将不胜感激任何见解或故障排除提示，以便我可以继续进行程序包开发。提前致谢!

我在使用 Python 2.7.6 的 Ubuntu 14.04.1 LTS 系统上的问题概要:

1. 我有一个名为 test_dummy.py 的脚本，它将包路径添加到 sys.path，然后尝试导入包。
2. 当在 ipython 中使用 run test_dummy.py 运行脚本时，包导入没有错误。
3. 当使用 python test_dummy.py 运行脚本时，某些包会抛出 ImportError 异常。
4. 最令人沮丧的是包含代码的包，即不仅仅是一个 __init__.py 文件导入无一异常(exception)。只有 __init__.py 文件的简单测试包不会按预期导入。当从 python 调用脚本时，我无法确定是什么导致最简单的包在导入时抛出异常，即 python test_dummy.py。

我的密码是这样的:

.
├── browser
├── display
├── hello_world
├── singleton
├── test_a
└── tests

test_a 是这样的:

test_a
├── __init__.py
└── __init__.pyc

hello_world 是这样的:

hello_world/
├── hello.py
├── hello.pyc
├── __init__.py
└── __init__.pyc

hello.py 是这样的:

HELLO = 'Hello, world!'
print HELLO

其他包 ['browser', 'display', 'singleton'] 都包含 init.py 文件和其他在运行时不会抛出已知异常的代码。

测试是这样的:

tests
└── test_dummy.py

test_dummy.py中的代码:

import importlib
import os
import sys
HOME = os.path.expanduser('~')
PYTHON = os.path.join(HOME, 'development/my_python')
PACKAGES = [
    'browser',
    'display',
    'singleton',
    'test_a',
    'hello_world',
]
MODULES = [
    '',
    '',
    '',
    '',
    'hello',
]
IMPORTS = ['.'.join((pkg, module)).strip('.')
           for pkg, module
           in zip(PACKAGES, MODULES)]
"""
append sys.path with PACKAGES if package exists and not already
in the sys.path
"""
for package in PACKAGES:
    package = os.path.join(PYTHON, package)
    if os.path.exists(package) is True:
        if package not in sys.path:
            print "loading package '{0}'".format(package)
            sys.path.append(package)
        else:
            print "package '{0}' already in sys.path".format(package)
    else:
        message = "Package '{0}' does not exist.".format(package)
        raise IOError(message)
"""
import IMPORTS if the package is in sys.path
"""
for item in IMPORTS:
    pkg_in_path = [pkg == os.path.basename(path)
                   for pkg in PACKAGES for path in sys.path]
    if any(pkg_in_path):
        print "loading '{0}'".format(item)
        importlib.import_module(item)
    else:
        raise AttributeError("{0} not in sys.path".format(item))

ipython 结果:

$ ipython
# result
Python 2.7.6 (default, Mar 22 2014, 22:57:26)
Type "copyright", "credits" or "license" for more information.

IPython 2.2.0 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.
Warning: disable autoreload in ipython_config.py to improve performance.

In [3]: run tests/test_dummy.py
loading package '/home/dmmmd/development/my_python/browser'
loading package '/home/dmmmd/development/my_python/display'
loading package '/home/dmmmd/development/my_python/singleton'
loading package '/home/dmmmd/development/my_python/test_a'
loading package '/home/dmmmd/development/my_python/hello_world'
loading 'browser'
loading 'display'
loading 'singleton'
loading 'test_a'
loading 'hello_world.hello'
Hello, world!

来自 python tests/test_dummy.py 的结果:

loading package '/home/dmmmd/development/my_python/browser'
loading package '/home/dmmmd/development/my_python/display'
loading package '/home/dmmmd/development/my_python/singleton'
loading package '/home/dmmmd/development/my_python/test_a'
loading package '/home/dmmmd/development/my_python/hello_world'
loading 'browser'
loading 'display'
loading 'singleton'
loading 'test_a'
Traceback (most recent call last):
  File "tests/test_dummy.py", line 46, in <module>
    importlib.import_module(item)
  File "/usr/lib/python2.7/importlib/__init__.py", line 37, in import_module
    __import__(name)
ImportError: No module named test_a

在 python 解释器中导入包 'test_a' 不会抛出异常:

Python 2.7.6 (default, Mar 22 2014, 22:57:26)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys.path.append('/home/dmmmd/development/my_python/test_a')
>>> import test_a
>>> print test_a
<module 'test_a' from 'test_a/__init__.pyc'>
>>>

Answer 1

我找到了一个解决方案，尽管该解决方案没有解决为什么以临时方式添加到 sys.path 的某些包路径在脚本时未导入的问题使用 python test_dummy.py 运行。

我最初在尝试使用 py.test 时遇到了这个问题。 In the py.test documentation I saw this tip关于“使用 virutalenv、pip 和可编辑模式管理您的项目”。我忽略了它，因为我认为它对于我的 Python 知识水平来说太高级了。

在阅读了关于“creating your own python project”的内容后，我决定试试这个技巧。

我在 pwd 中创建了一个 setup.py 文件，代码如下:

from setuptools import setup, find_packages

setup(name='import_troubleshooting', version='1.0')
packages = find_packages(exclude=[
    'my_django',
    'fake*',
    'tests*'
])

然后我在命令行中执行了以下代码:

pip install -e .  # the pip way (which just calls "setup.py develop")

然后我执行了以下代码并得到了预期的结果:

$ python tests/test_dummy.py
# output    
package '/home/dmmmd/development/my_python/browser' already in sys.path
package '/home/dmmmd/development/my_python/display' already in sys.path
package '/home/dmmmd/development/my_python/singleton' already in sys.path
loading package '/home/dmmmd/development/my_python/test_a'
loading package '/home/dmmmd/development/my_python/hello_world'
loading 'browser'
loading 'display'
loading 'singleton'
loading 'test_a'
loading 'hello_world.hello'
Hello, world!

这些都没有向我解释为什么我不能在没有首先使用 pip install -e . 安装我的包的情况下以 ad hoc 方式添加包路径。同样奇怪的是，只有在将脚本传递给 python 时才会失败。 ipython test_dummy.py 可以先安装我的本地包。

不过，我很高兴学习了一些关于 python 安装和打包的知识。 test_dummy.py 脚本现在在从 python tests/test_dummy.py 调用时按预期运行。

我现在很困惑，为什么当 test_dummy.py 脚本运行时，其中三个包已经在 sys.path 中:

package '/home/dmmmd/development/my_python/browser' already in sys.path
package '/home/dmmmd/development/my_python/display' already in sys.path
package '/home/dmmmd/development/my_python/singleton' already in sys.path

我不记得做过任何会将这些添加到 sys.path 的事情，但这是可能的，因为我一直在做各种教程。在我没有运行我创建的 setup.py 的任何其他环境中，它们不在 sys.path 中。

我的困惑是 Python 复杂性的症状，而不是原因!

感谢大家的意见。

注意:这是 python test_dummy.py 在新的 virtualenv 之后的输出:

$ pip install -e .
# install output unremarkable
$ python tests/test_dummy.py
# output
    loading package '/home/dmmmd/development/my_python/automated_browsing/browser'
loading package '/home/dmmmd/development/my_python/automated_browsing/display'
loading package '/home/dmmmd/development/my_python/automated_browsing/singleton'
loading package '/home/dmmmd/development/my_python/automated_browsing/hello_world'
loading package '/home/dmmmd/development/my_python/automated_browsing/test_a'
loading 'browser'
loading 'display'
loading 'singleton'
loading 'hello_world.hello'
Hello, world!
loading 'test_a'