python - 字节码优化

Question

这里有两个简单的例子。在第一个示例中，append 方法在循环内生成 LOAD_ATTR 指令，在第二个示例中，它只生成一次并将结果保存在变量中(即缓存)。 提醒:我记得，这个任务有 extend 方法，它比这个要快得多

setup = \
"""LIST = []
ANOTHER_LIST = [i for i in range(10**7)]

def appender(list, another_list):
    for elem in another_list:
        list.append(elem)

def appender_optimized(list, another_list):
    append_method = list.append
    for elem in another_list:
        append_method(elem)"""


import timeit

print(timeit.timeit("appender(LIST, ANOTHER_LIST)", setup=setup, number=10))
print(timeit.timeit("appender_optimized(LIST, ANOTHER_LIST)", setup=setup, number=10))

结果:

11.92684596051036
7.384205785584728

4.6 秒的差异(即使对于这么大的列表)也不是开玩笑 - 在我看来，这种差异不能算作“微优化”。为什么 Python 不为我做这件事？因为字节码必须是源代码的准确反射(reflect)？编译器甚至优化任何东西吗？例如，

def te():
    a = 2
    a += 1
    a += 1
    a += 1
    a += 1

产生

LOAD_FAST                0 (a)
LOAD_CONST               2 (1)
INPLACE_ADD
STORE_FAST               0 (a)

4 次而不是优化为 += 4。或者它是否优化了一些著名的东西，比如产生移位而不是乘以 2？我对基本语言概念有什么误解吗？

Answer 1

Python 是一种动态语言。这意味着您在编写代码的方式上有很多的自由。由于 python 公开的大量自省(introspection)(顺便说一句，这是非常有用的)，许多优化根本无法执行。例如，在您的第一个示例中，python 无法知道您调用它时 list 的数据类型。我可以创建一个非常奇怪的类:

class CrazyList(object):
    def append(self, value):
        def new_append(value):
            print "Hello world"

        self.append = new_append

显然这没有用，但我可以编写它并且它是有效的 python。如果我将此类型传递给您上面的函数，代码将与您“缓存”append 函数的版本不同。

我们可以为 += 编写一个类似的示例(如果“编译器”将其优化掉，它可能会产生无法执行的副作用)。

为了有效地优化，python 必须知道你的类型......并且对于绝大多数代码，它没有(万无一失的)方法来获取类型数据，所以它甚至不会尝试大多数优化。

---

请注意，这是一个微优化(也是一个well documented)。它在某些情况下很有用，但在大多数情况下，如果您编写惯用的 python，则没有必要。例如您的 list 示例最好使用您在帖子中提到的 .extend 方法编写。大多数时候，如果你有一个足够紧的循环，以至于方法的查找时间对你的整个程序运行时间很重要，那么你应该找到一种方法来重写那个循环以提高效率，或者甚至插入计算转换为更快的语言(例如 C)。一些库真的擅长于此 (numpy)。

---

话虽如此，“编译器”在称为“窥孔优化器”的阶段中可以安全地完成一些优化。例如它会为你做一些简单的常量折叠:

>>> import dis
>>> def foo():
...     a = 5 * 6
... 
>>> dis.dis(foo)
  2           0 LOAD_CONST               3 (30)
              3 STORE_FAST               0 (a)
              6 LOAD_CONST               0 (None)
              9 RETURN_VALUE        

在某些情况下，它会缓存值供以后使用，或将一种类型的对象转换为另一种类型的对象:

>>> def translate_tuple(a):
...   return a in [1, 3]
... 
>>> import dis
>>> dis.dis(translate_tuple)
  2           0 LOAD_FAST                0 (a)
              3 LOAD_CONST               3 ((1, 3))
              6 COMPARE_OP               6 (in)
              9 RETURN_VALUE

(注意列表变成了元组并被缓存——在python3.2+中set文字也可以变成frozenset并缓存)。