Python 3.6 项目结构导致 RuntimeWarning

Question

我正在尝试打包我的项目以进行分发，但我在运行模块时遇到了 RuntimeWarning。

我在 Python mailing list 上发现了一个错误报告。这表明 RuntimeWarning 是 Python 3.5.2 中引入的新行为。

阅读错误报告，似乎发生了双重导入，并且此 RuntimeWarning 在提醒用户方面是正确的。但是，我看不到需要对自己的项目结构进行哪些更改才能避免此问题。

这是我尝试“正确”构建的第一个项目。我希望在推送代码时有一个整洁的布局，以及一个可以被其他人轻松克隆和运行的项目结构。

我的结构主要基于 http://docs.python-guide.org/en/latest/writing/structure/ .

我在下面添加了一个最小工作示例的详细信息。

为了重现问题，我使用 python -m 运行主文件:

(py36) X:\test_proj>python -m proj.proj
C:\Users\Matthew\Anaconda\envs\py36\lib\runpy.py:125: RuntimeWarning: 
'proj.proj' found in sys.modules after import of package 'proj', but prior 
to execution of 'proj.proj'; this may result in unpredictable behaviour
  warn(RuntimeWarning(msg))
This is a test project.`

运行我的测试很好:

(py36) X:\test_proj>python -m unittest tests.test_proj
This is a test project.
.
----------------------------------------------------------------------
Ran 1 test in 0.000s

OK

复制问题的项目结构如下:

myproject/
    proj/
        __init__.py
        proj.py
    tests/
        __init__.py
        context.py
        test_proj.py

在文件proj/proj.py中:

def main():
    print('This is a test project.')
    raise ValueError

if __name__ == '__main__':
    main()

在proj/__init__.py:

from .proj import main

在 tests/context.py 中:

import os
import sys
sys.path.insert(0, os.path.abspath(os.path.join(os.path.dirname(__file__), '..')))
import proj

最后，在tests/test_proj.py:

import unittest

from .context import proj


class SampleTestCase(unittest.TestCase):
    """Test case for this sample project"""
    def test_raise_error(self):
        """Test that we correctly raise an error."""
        with self.assertRaises(ValueError):
            proj.main()


if __name__ == '__main__':
    unittest.main()

谁能帮我纠正我的项目结构以避免这种双重导入情况？对此的任何帮助将不胜感激。

Answer 1

对于这种特殊情况，双重导入警告是由于 proj/__init__.py 中的这一行:

from .proj import main

该行的意思是，当 -m 开关实现完成 import proj 步骤时，proj.proj 已 已经作为导入父包的副作用而被导入。

避免警告

为避免该警告，您需要找到一种方法来确保导入父包不会隐式导入正在使用 -m 开关执行的包。

解决问题的两个主要选项是:

1. 删除 from .proj import main 行(如@John Moutafis 建议的那样)，假设可以在不破坏 API 兼容性保证的情况下完成；或

2. 从 proj 子模块中删除 if __name__ == "__main__": block 并将其替换为单独的 proj/__main__.py 文件:

   from .proj import main
   main()
   

如果您使用选项 2，那么命令行调用也将更改为只是 python -m proj，而不是引用子模块。

选项 2 的一个更向后兼容的变体是添加 __main__.py 而不会从当前子模块中删除 CLI block ，当与 DeprecationWarning< 结合使用时，这可能是一种特别好的方法:

if __name__ == "__main__":
    import warnings
    warnings.warn("use 'python -m proj', not 'python -m proj.proj'", DeprecationWarning)
    main()

如果 proj/__main__.py 已经被用于其他目的，那么您也可以使用 替换 python -m proj.proj python -m proj.proj_cli，其中 proj/proj_cli.py 看起来像:

if __name__ != "__main__":
    raise RuntimeError("Only for use with the -m switch, not as a Python API")
from .proj import main
main()

为什么会出现警告？

当 -m 开关实现即将在 __main__ 模块中运行已导入模块的代码 再次 时，将发出此警告，这意味着您将拥有它定义的所有内容的两个不同副本 - 类、函数、容器等。

根据应用程序的具体情况，这可能会正常工作(这就是为什么它是警告而不是错误的原因)，或者可能会导致奇怪的行为，例如模块级状态修改未按预期共享，甚至异常未按预期共享被捕获是因为异常处理程序试图从模块的一个实例中捕获异常类型，而引发的异常使用了另一个实例中的类型。

因此含糊的这可能会导致不可预知的行为警告 - 如果由于两次运行模块的顶级代码而导致出现问题，症状可能几乎是任何东西。

如何调试更复杂的案例？

虽然在这个特定示例中，副作用导入直接在 proj/__init__.py 中，但有一个更微妙且难以调试的变体，而父包则这样做:

import some_other_module

然后是 some_other_module(或它导入的模块):

import proj.proj # or "from proj import proj"

假设错误行为是可重现的，调试此类问题的主要方法是以详细模式运行 python 并检查导入顺序:

$ python -v -c "print('Hello')" 2>&1 | grep '^import'
import zipimport # builtin
import site # precompiled from /usr/lib64/python2.7/site.pyc
import os # precompiled from /usr/lib64/python2.7/os.pyc
import errno # builtin
import posix # builtin
import posixpath # precompiled from /usr/lib64/python2.7/posixpath.pyc
import stat # precompiled from /usr/lib64/python2.7/stat.pyc
import genericpath # precompiled from /usr/lib64/python2.7/genericpath.pyc
import warnings # precompiled from /usr/lib64/python2.7/warnings.pyc
import linecache # precompiled from /usr/lib64/python2.7/linecache.pyc
import types # precompiled from /usr/lib64/python2.7/types.pyc
import UserDict # precompiled from /usr/lib64/python2.7/UserDict.pyc
import _abcoll # precompiled from /usr/lib64/python2.7/_abcoll.pyc
import abc # precompiled from /usr/lib64/python2.7/abc.pyc
import _weakrefset # precompiled from /usr/lib64/python2.7/_weakrefset.pyc
import _weakref # builtin
import copy_reg # precompiled from /usr/lib64/python2.7/copy_reg.pyc
import traceback # precompiled from /usr/lib64/python2.7/traceback.pyc
import sysconfig # precompiled from /usr/lib64/python2.7/sysconfig.pyc
import re # precompiled from /usr/lib64/python2.7/re.pyc
import sre_compile # precompiled from /usr/lib64/python2.7/sre_compile.pyc
import _sre # builtin
import sre_parse # precompiled from /usr/lib64/python2.7/sre_parse.pyc
import sre_constants # precompiled from /usr/lib64/python2.7/sre_constants.pyc
import _locale # dynamically loaded from /usr/lib64/python2.7/lib-dynload/_localemodule.so
import _sysconfigdata # precompiled from /usr/lib64/python2.7/_sysconfigdata.pyc
import abrt_exception_handler # precompiled from /usr/lib64/python2.7/site-packages/abrt_exception_handler.pyc
import encodings # directory /usr/lib64/python2.7/encodings
import encodings # precompiled from /usr/lib64/python2.7/encodings/__init__.pyc
import codecs # precompiled from /usr/lib64/python2.7/codecs.pyc
import _codecs # builtin
import encodings.aliases # precompiled from /usr/lib64/python2.7/encodings/aliases.pyc
import encodings.utf_8 # precompiled from /usr/lib64/python2.7/encodings/utf_8.pyc

这个特定的例子只是展示了 Fedora 上的 Python 2.7 在启动时所做的基本导入集。在调试像这个问题中的那样的双重导入 RuntimeWarning 时，您将在详细输出中搜索“import proj”，然后搜索“import proj.proj”行，然后仔细查看在“import proj.proj”行之前的导入处。