python - 哪个 pairwise() 实现？

Question

itertools 的文档提供了一个 recipe对于 pairwise() 函数，我在下面稍作修改，使其返回 (last_item, None) 作为最后一对:

from itertools import tee, izip_longest

def pairwise_tee(iterable):
    a, b = tee(iterable)
    next(b, None)
    return izip_longest(a, b)

但是，在我看来，使用 tee() 可能有点矫枉过正(因为它仅用于提供一个前瞻步骤)，所以我尝试编写一个替代方案来避免它:

def pairwise_zed(iterator):
    a = next(iterator)
    for b in iterator:
        yield a, b
        a = b
    yield a, None

注意:碰巧我知道我的输入将是我的用例的迭代器；我知道上面的函数不适用于常规的可迭代对象。顺便说一句，接受迭代器的要求也是我不使用类似 izip_longest(iterable, iterable[1:]) 的原因。

在 Python 2.7.3 中测试这两个函数的速度得到以下结果:

>>> import random, string, timeit
>>> for length in range(0, 61, 10):
...     text = "".join(random.choice(string.ascii_letters) for n in range(length))
...     for variant in "tee", "zed":
...         test_case = "list(pairwise_%s(iter('%s')))" % (variant, text)
...         setup = "from __main__ import pairwise_%s" % variant
...         result = timeit.repeat(test_case, setup=setup, number=100000)
...         print "%2d %s %r" % (length, variant, result)
...     print
... 
 0 tee [0.4337780475616455, 0.42563915252685547, 0.42760396003723145]
 0 zed [0.21209311485290527, 0.21059393882751465, 0.21039700508117676]

10 tee [0.4933490753173828, 0.4958930015563965, 0.4938509464263916]
10 zed [0.32074403762817383, 0.32239794731140137, 0.32340312004089355]

20 tee [0.6139161586761475, 0.6109561920166016, 0.6153261661529541]
20 zed [0.49281787872314453, 0.49651598930358887, 0.4942781925201416]

30 tee [0.7470319271087646, 0.7446520328521729, 0.7463529109954834]
30 zed [0.7085139751434326, 0.7165200710296631, 0.7171430587768555]

40 tee [0.8083810806274414, 0.8031280040740967, 0.8049719333648682]
40 zed [0.8273730278015137, 0.8248250484466553, 0.8298079967498779]

50 tee [0.8745720386505127, 0.9205660820007324, 0.878741979598999]
50 zed [0.9760301113128662, 0.9776301383972168, 0.978381872177124]

60 tee [0.9913749694824219, 0.9922418594360352, 0.9938201904296875]
60 zed [1.1071209907531738, 1.1063809394836426, 1.1069209575653076]

... 因此，当有大约 40 个项目时，pairwise_tee() 开始优于 pairwise_zed()。这很好，就我而言 - 平均而言，我的输入可能低于该阈值。

我的问题是:我应该使用哪个？ pairwise_zed() 看起来会快一点(在我看来更容易理解)，但是 pairwise_tee() 可以被认为是“规范”实现由于取自官方文档(我可以在评论中链接到该文档)，并且适用于任何可迭代对象 - 目前这不是考虑因素，但我想以后可能会考虑。

我也想知道如果迭代器在函数外部受到干扰，可能会出现问题，例如

for a, b in pairwise(iterator):
    # do something
    q = next(iterator)

...但据我所知，pairwise_zed() 和 pairwise_tee() 在那种情况下表现相同(当然这会是个该死的傻瓜首先要做的事情)。

Answer 1

itertools tee 实现对于那些使用过 itertools 的人来说是惯用的，尽管我很想使用 islice 而不是 next 来推进领先的迭代器。

你的版本的一个缺点是它不太容易扩展到 n 迭代，因为你的状态存储在局部变量中；我很想使用双端队列:

def pairwise_deque(iterator, n=2):
    it = chain(iterator, repeat(None, n - 1))
    d = collections.deque(islice(it, n - 1), maxlen=n)
    for a in it:
      d.append(a)
      yield tuple(d)

一个有用的习惯用法是在iterator 参数上调用iter；这是确保您的函数适用于任何可迭代对象的简单方法。