python - 生成器到列表转换的不同速度

Question

问题

所以我写了一个 python 函数，它通过递归地生成嵌套列表的所有元素来展平列表。我提出了 2 个不同版本的生成器创建函数(并非 100% 相同)。

这是两个版本:

def iterflatten_v1(lst):
    for x in lst:
        if isinstance(x, (list, tuple)):
            yield from iterflatten_v1(x)
        else:
            yield x

def flatten_v1(lst):
    return list(iterflatten_v1(lst))

def iterflatten_v2(lst):
    for x in lst:
        try:
            yield from iterflatten_v2(x)
        except TypeError:
            yield x

def flatten_v2(lst):
    return list(iterflatten_v2(lst))

然后我使用以下代码测试了这两个函数的速度(timing function):

import time

def timing(f, a, n):
    print(f.__name__)
    r = range(n)
    t1 = time.clock()
    for i in r:
        f(a); f(a); f(a); f(a); f(a); f(a); f(a); f(a); f(a); f(a)
    t2 = time.clock()
    print(round(t2-t1, 3))

nested = [1, 1, 1, [1, 1, [1, 1, 1, [1, 1, 1, 1, [1, 1, 1, 1], 1, 1], 1, 1], 1], 1]
data = [nested for i in range(1000)]

timing(iterflatten_v1, data, 1000)  # 0.003
timing(iterflatten_v2, data, 1000)  # 0.003
timing(flatten_v1, data, 10)  # 1.647
timing(flatten_v2, data, 10)  # 3.005

问题

为什么 iterflatten_v1 生成器的转换速度几乎是 iterflatten_v2 生成器的转换速度的两倍，即使生成器函数具有相同的速度？

Answer 1

正如评论中所说，在这种情况下，异常处理比测试类型实例消耗更多的内存。

但是你对两者都计时是正确的，并且计时可能会因数据而异(如果数据只包含整数，你会更频繁地遇到异常，并且 v2 将比 v1 更慢)

请注意，如果您没有 tuple 或 list 的子项，您可以不使用 获得 50% 的加速isinstance(检查基类)，并检查确切的类型:

def iterflatten_v1(lst):
    for x in lst:
        if type(x) in (list, tuple):
            yield from iterflatten_v1(x)
        else:
            yield x

在我的机器上，isinstance 版本的时间为 1.5 秒，而此版本的时间不到 1 秒。

(是的，我测试了 isinstance(x,collections.Sequence) 并且非常失望，因为它比测试 2 种类型还要慢)