python - 在 python 中组合 'with' 和 'yield' 是否安全？

Question

使用上下文管理器自动关闭文件是python中的一个常见习语:

with open('filename') as my_file:
    # do something with my_file

# my_file gets automatically closed after exiting 'with' block

现在我想读取几个文件的内容。数据的消费者不知道也不关心数据是来自文件还是非文件。它不想检查它收到的对象是否可以打开。它只是想从中读取一些内容。所以我创建了一个这样的迭代器:

def select_files():
    """Yields carefully selected and ready-to-read-from files"""
    file_names = [.......]
    for fname in file_names:
        with open(fname) as my_open_file:
            yield my_open_file

这个迭代器可以这样使用:

for file_obj in select_files():
    for line in file_obj:
        # do something useful

(请注意，相同的代码可用于使用的不是打开的文件，而是字符串列表 - 这很酷!)

问题是:产生打开的文件是否安全？

看起来像“为什么不呢？”。消费者调用迭代器，迭代器打开文件，将其交给消费者。消费者处理文件并返回到下一个迭代器。迭代器代码恢复，我们退出 'with' block ，my_open_file 对象被关闭，转到下一个文件，等等。

但是如果消费者永远不会返回到下一个文件的迭代器怎么办？ F.e.消费者内部发生异常。或者消费者在其中一个文件中发现了一些非常令人兴奋的东西，并高兴地将结果返回给调用它的人？

在这种情况下迭代器代码永远不会恢复，我们永远不会到达 'with' block 的末尾，并且 my_open_file 对象永远不会关闭!

或者会吗？

Answer 1

您提出了之前提出的批评¹。在这种情况下，清理是不确定的，但是当生成器收集垃圾时，将发生在 CPython 上。 您的里程可能因其他 python 实现而异...

这是一个简单的例子:

from __future__ import print_function
import contextlib

@contextlib.contextmanager
def manager():
    """Easiest way to get a custom context manager..."""
    try:
        print('Entered')
        yield
    finally:
        print('Closed')


def gen():
    """Just a generator with a context manager inside.

    When the context is entered, we'll see "Entered" on the console
    and when exited, we'll see "Closed" on the console.
    """
    man = manager()
    with man:
        for i in range(10):
            yield i


# Test what happens when we consume a generator.
list(gen())

def fn():
    g = gen()
    next(g)
    # g.close()

# Test what happens when the generator gets garbage collected inside
# a function
print('Start of Function')
fn()
print('End of Function')

# Test what happens when a generator gets garbage collected outside
# a function.  IIRC, this isn't _guaranteed_ to happen in all cases.
g = gen()
next(g)
# g.close()
print('EOF')

在 CPython 中运行这个脚本，我得到:

$ python ~/sandbox/cm.py
Entered
Closed
Start of Function
Entered
Closed
End of Function
Entered
EOF
Closed

基本上，我们看到的是，对于耗尽的生成器，上下文管理器会在您期望的时候进行清理。对于没有耗尽的生成器，当生成器被垃圾收集器收集时，清理功能就会运行。当生成器超出范围时会发生这种情况(或者最迟在下一个 gc.collect 循环时发生 IIRC)。

但是，做一些快速实验(例如，在 pypy 中运行上述代码)，我并没有清理所有上下文管理器:

$ pypy --version
Python 2.7.10 (f3ad1e1e1d62, Aug 28 2015, 09:36:42)
[PyPy 2.6.1 with GCC 4.2.1 Compatible Apple LLVM 5.1 (clang-503.0.40)]
$ pypy ~/sandbox/cm.py
Entered
Closed
Start of Function
Entered
End of Function
Entered
EOF

因此，关于所有 python 实现调用上下文管理器的 __exit__ 的断言是不正确的。可能这里的未命中归因于 pypy's garbage collection strategy (这 不是 引用计数)并且当 pypy 决定获取生成器时，该进程已经关闭，因此它不会打扰它。 .. 在大多数现实世界的应用程序中，生成器可能会足够快地获得并最终确定，这实际上并不重要......

---

提供严格的保证

如果您想保证您的上下文管理器正确完成，您应该注意 close完成后生成器²。取消注释上面的 g.close() 行给了我确定性清理，因为 GeneratorExit 在 yield 语句(在上下文管理器中)引发) 然后它被生成器捕获/抑制...

$ pypy ~/sandbox/cm.py
Entered
Closed
Start of Function
Entered
Closed
End of Function
Entered
Closed
EOF

$ python3 ~/sandbox/cm.py
Entered
Closed
Start of Function
Entered
Closed
End of Function
Entered
Closed
EOF

$ python ~/sandbox/cm.py
Entered
Closed
Start of Function
Entered
Closed
End of Function
Entered
Closed
EOF

---

FWIW，这意味着你可以使用 contextlib.closing 清理你的生成器:

from contextlib import closing
with closing(gen_function()) as items:
    for item in items:
        pass # Do something useful!

^{1最近，一些讨论围绕着 PEP 533旨在使迭代器清理更具确定性。
2关闭一个已经关闭和/或消耗的生成器是完全可以的，这样你就可以调用它而不必担心生成器的状态。}