python - 了解 Python3.x 中的 izip

Question

我的问题只是为了学习目的，而且只针对 python3.x。在现实生活中，我会使用 zip，因为 python3 zip 与 python2 izip 做同样的工作(即返回生成器，而不是真实的东西)。

在python2中，izip本质上等同于下面的代码(摘自izip，加上一些调试代码)

def izip(*iterables):
    iterators = map(iter, iterables)
    n = 0
    while iterators:
        x = tuple(map(next, iterators))
        print("at n={}, x={} ".format(n, x))
        yield x
        n += 1
        if n > 10: break

Python2 工作正常。 izip('abc', 'ABC') 的输出是:

at n=0, x=('a', 'A') 
('a', 'A')
at n=1, x=('b', 'B') 
('b', 'B')
at n=2, x=('c', 'C') 
('c', 'C')

Python3 反而进入了一个无限循环。 this thread 中解释了原因.但还有一点我无法理解:python3 只产生第一个元组。这是同一程序的输出。为什么 bs' 和 cs' 没有出现？:

at n=0, x=('a', 'A') 
('a', 'A')
at n=1, x=() 
()
at n=2, x=() 
()
at n=3, x=() 
() etc.

我的两个问题是为什么 Python3 会这样？以及如何让这段代码工作？

Answer 1

问题在于 python2 和 python3 之间 map 的不同行为，特别是第一次调用 map (iterators = map(iter, iterables )).

在 python3 中，map 返回一个生成器(或类似生成器的对象)，而在 python2 中，它是一个列表。这意味着在第一次调用 tuple(map(next, iterators)) 之后，iterators 生成器被完全消耗，因此在下一次迭代中，不再有迭代器一起工作。

如果你改变它应该工作:

iterators = map(iter, iterables) 

到:

iterators = list(map(iter, iterables)) 

(这可以说比 iterators = [ iter(it) for it in iterables ] 更好)

---

正如您所指出的，它现在进入了一个无限循环。同样，问题出在 map 函数中，但这次是在第二次调用中。

首先，让我们了解这个实现在python2中是如何工作的。尽管有一个 while 迭代器 循环，但循环不会因为条件为假而中断，而是由于对 next 的调用之一引发了 StopIteration 异常。此异常会传播到调用方的循环，后者正确理解没有更多结果。

像这样实现它可能很直观:

def izip(*iterables):
    if not iterables: return []
    iterators = map(iter, iterables)
    while True:
        yield tuple(map(next, iterators))

现在，map 的行为在 python3 中也发生了变化。它不是提高，而是“修剪”输出:

list(map(next, [ iter('ab'), iter('') ]))
=> ['a']

不引发 StopIteration 会导致无限循环。

解决方案是使用列表理解，它确实传播了 StopIteration 异常。

def izip(*iterables):
    if not iterables: return []
    iterators = map(iter, iterables)
    while True:
        yield tuple([ next(it) for it in iterators ])

---

经验教训:列表理解(和生成器表达式)should be favored通过 map、filter 等