python - 了解 Python 中的生成器

Question

我目前正在阅读 Python 食谱，目前正在研究生成器。我发现自己的脑袋很难转。

由于我来自 Java 背景，是否有 Java 等价物？这本书讲的是“生产者/消费者”，但是当我听到我想到线程时。

什么是生成器，为什么要使用它？显然，无需引用任何书籍(除非您可以直接从书中找到一个体面、简单的答案)。如果您觉得大方，也许可以举一些例子!

Answer 1

注意:本文假定使用 Python 3.x 语法。^†

一个 generator只是一个函数，它返回一个可以调用 next 的对象，这样每次调用它都会返回一些值，直到它引发 StopIteration 异常，表示所有值已生成。这样的对象称为迭代器。

普通函数使用 return 返回单个值，就像在 Java 中一样。然而，在 Python 中，有一个替代方法，称为 yield。在函数中的任何地方使用 yield 都会使其成为生成器。观察这段代码:

>>> def myGen(n):
...     yield n
...     yield n + 1
... 
>>> g = myGen(6)
>>> next(g)
6
>>> next(g)
7
>>> next(g)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

如您所见，myGen(n) 是一个产生 n 和 n + 1 的函数。每次调用next产生单个值，直到产生所有值。 for 循环在后台调用 next，因此:

>>> for n in myGen(6):
...     print(n)
... 
6
7

同样有generator expressions ，它提供了一种简洁地描述某些常见类型的生成器的方法:

>>> g = (n for n in range(3, 5))
>>> next(g)
3
>>> next(g)
4
>>> next(g)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

请注意，生成器表达式很像 list comprehensions :

>>> lc = [n for n in range(3, 5)]
>>> lc
[3, 4]

观察生成器对象生成一次，但其代码不是一次性运行。只有调用 next 才能真正执行(部分)代码。一旦到达 yield 语句，生成器中代码的执行就会停止，并返回一个值。对 next 的下一次调用会导致执行在最后一个 yield 之后离开生成器的状态下继续执行。这是与常规函数的根本区别:它们总是从“顶部”开始执行并在返回值时丢弃它们的状态。

关于这个话题还有很多话要说。例如可以将数据 send 回生成器 (reference)。但我建议您在了解生成器的基本概念之前不要研究这些内容。

现在您可能会问:为什么要使用生成器？有几个很好的理由:

• 使用生成器可以更简洁地描述某些概念。
• 与其创建一个返回值列表的函数，不如编写一个动态生成值的生成器。这意味着不需要构造列表，这意味着生成的代码更节省内存。通过这种方式，我们甚至可以描述因太大而无法放入内存的数据流。

• 生成器允许以自然的方式描述无限流。例如，考虑 Fibonacci numbers :

  >>> def fib():
  ...     a, b = 0, 1
  ...     while True:
  ...         yield a
  ...         a, b = b, a + b
  ... 
  >>> import itertools
  >>> list(itertools.islice(fib(), 10))
  [0, 1, 1, 2, 3, 5, 8, 13, 21, 34]
  

  此代码使用 itertools.islice从无限流中获取有限数量的元素。建议您仔细查看itertools 中的功能。模块，因为它们是轻松编写高级生成器的必备工具。

---

  ^† 关于 Python <=2.6: 在上面的例子中 next 是一个调用 __next__ 方法的函数> 在给定的对象上。在 Python <=2.6 中，使用了一种稍微不同的技术，即 o.next() 而不是 next(o)。 Python 2.7 有 next() 调用 .next 所以你不需要在 2.7 中使用以下内容:

>>> g = (n for n in range(3, 5))
>>> g.next()
3