python - 将 __future__ 样式导入用于 Python 中的模块特定功能

Question

Python future 语句 from __future__ import feature 提供了一种简化向新语言功能过渡的好方法。是否可以为 Python 库实现类似的功能:from myproject.__future__ import feature？

在 import 语句上设置模块范围的常量很简单。对我来说不明显的是如何确保这些常量不会传播到导入模块中执行的代码——它们还应该需要 future 导入才能启用新功能。

这最近出现在 discussion of possible indexing changes 中在 NumPy 中。我不认为它会实际用于 NumPy，但我可以看到它对其他项目很有用。

举一个具体的例子，假设我们确实想在未来某个版本的 NumPy 中改变索引的工作方式。这将是一个向后不兼容的更改，因此我们决定使用 future 语句来简化过渡。使用此新功能的脚本如下所示:

import numpy as np
from numpy.__future__ import orthogonal_indexing

x = np.random.randn(5, 5)
print(x[[0, 1], [0, 1]])  # should use the "orthogonal indexing" feature
# prints a 2x2 array of random numbers

# we also want to use a legacy project that uses indexing, but
# hasn't been updated to the use the "orthogonal indexing" feature
from legacy_project import do_something

do_something(x)  # should *not* use "orthogonal indexing"

如果无法做到这一点，我们最接近启用本地选项的方法是什么？例如，是否可以这样写:

from numpy import future
future.enable_orthogonal_indexing()

使用上下文管理器之类的东西会很好，但问题是我们不想将选项传播到嵌套范围:

with numpy.future.enable_orthogonal_indexing():
    print(x[[0, 1], [0, 1]])  # should use the "orthogonal indexing" feature
    do_something(x)  # should *not* use "orthogonal indexing" inside do_something

Answer 1

Python 本身执行此操作的方式非常简单:

在importer ，当您尝试从 .py 文件导入时，代码首先扫描模块中的 future statements .

请注意，在 future 语句之前唯一允许的是字符串、注释、空行和其他 future 语句，这意味着它不需要完全解析代码来执行此操作。这很重要，因为 future 语句可以改变代码的解析方式(事实上，这就是拥有它们的全部意义……)； lexer 可以处理字符串、注释和空行步骤和 future 的语句可以用一个非常简单的专用解析器来解析。

然后，如果找到任何 future 的语句，Python 设置相应的标志位，然后重新查找文件的顶部并调用 compile带着那些旗帜。例如，对于 from __future__ import unicode_literals，它会执行 flags |= __future__.unicode_literals.compiler_flag，这会将 flags 从 0 到 0x20000。

在这个“真正的编译”步骤中，future 语句被视为正常导入，您最终将在变量 unicode_literals 中得到一个 __future__._Feature 值模块的全局变量。

---

现在，您不能完全做同样的事情，因为您不会重新实现或包装编译器。但是您可以做的是使用类似 future 的语句来表示 AST 转换步骤。像这样:

flags = []
for line in f:
    flag = parse_future(line)
    if flag is None:
        break
    flags.append(flag)
f.seek(0)
contents = f.read()
tree = ast.parse(contents, f.name)
for flag in flags:
    tree = transformers[flag](tree)
code = compile(tree, f.name)

当然，您必须编写 parse_future 函数来为空白行、注释或字符串返回 0，这是识别 future 导入的标志(如果需要，您可以动态查找) ，或 None 其他任何内容。你必须写 AST transformers对于每个标志。但它们可以非常简单——例如，您可以将 Subscript 节点转换为不同的 Subscript 节点，甚至转换为调用不同函数的 Call 节点在索引的形式上。

要将其挂接到导入系统，请参阅 PEP 302 .请注意，这在 Python 3.3 中变得更简单，在 Python 3.4 中再次变得更简单，因此如果您需要这些版本之一，请阅读 import system最低版本的文档。

---

有关现实生活中使用的导入钩子(Hook)和 AST 转换器的一个很好的例子，请参阅 MacroPy . (请注意，它使用的是旧的 2.3 样式的导入 Hook 机制；同样，如果您可以使用 3.3+ 或 3.4+，您自己的代码会更简单。当然，您的代码不会动态生成转换，这是最复杂的MacroPy 的一部分……)