python - 为什么这两种代码在 Python 和 Cython 中存在巨大的性能差异？

Question

我在 Python 中遇到了性能问题，我的一个 friend 建议我使用 Cython搜索更多后，我从 here 中找到了这段代码

python :

def test(value):
    for i in xrange(value):
        z = i**2
        if(i==1000000):
            print i
        if z < i:
                print "yes"
test(10000001)

赛通:

def test(long long value):
    cdef long long i
    cdef long long z
    for i in xrange(value):
        z = i**2
        if(i==1000000):
            print i
        if z < i:
            print "yes"

test(10000001)

在我执行这两个代码后，令人惊讶的是我通过 Cython 实现了 100 倍的加速

为什么仅仅通过添加变量声明就可以实现这种加速？？另外我应该提到波纹管代码性能与 Cython 中的 Python 相同。

赛通:

def test(long long value):
    for i in xrange(value):
        z = i**2
        if(i==1000000):
            print i
        if z < i:
            print "yes"

test(10000001)

Answer 1

Python 是一种语言。 CPython 是 Python 的字节码编译器和解释器。

需要一些代码:

for i in xrange(value):
    z = i**2
    if(i==1000000):
        print i
    if z < i:
        print "yes"

并给你“字节码”:

• 将迭代器载入 for循环并将其内容循环到 i
• 加载i , 加载 2 ，运行二进制电源，存储 z
• 加载i , 加载 1000000 , 比较
• 加载i , 打印
• 加载z , 加载 i , 比较
• 加载'yes' , 打印
• 完成

完整:

  1           0 SETUP_LOOP              70 (to 73)
              3 LOAD_NAME                0 (xrange)
              6 LOAD_NAME                1 (value)
              9 CALL_FUNCTION            1
             12 GET_ITER            
        >>   13 FOR_ITER                56 (to 72)
             16 STORE_NAME               2 (i)

  2          19 LOAD_NAME                2 (i)
             22 LOAD_CONST               0 (2)
             25 BINARY_POWER        
             26 STORE_NAME               3 (z)

  3          29 LOAD_NAME                2 (i)
             32 LOAD_CONST               1 (1000000)
             35 COMPARE_OP               2 (==)
             38 POP_JUMP_IF_FALSE       49

  4          41 LOAD_NAME                2 (i)
             44 PRINT_ITEM          
             45 PRINT_NEWLINE       
             46 JUMP_FORWARD             0 (to 49)

  5     >>   49 LOAD_NAME                3 (z)
             52 LOAD_NAME                2 (i)
             55 COMPARE_OP               0 (<)
             58 POP_JUMP_IF_FALSE       13

  6          61 LOAD_CONST               2 ('yes')
             64 PRINT_ITEM          
             65 PRINT_NEWLINE       
             66 JUMP_ABSOLUTE           13
             69 JUMP_ABSOLUTE           13

        >>   72 POP_BLOCK           
        >>   73 LOAD_CONST               3 (None)
             76 RETURN_VALUE

值得注意的是，在 Python 中，整数是类 int 的实例或 long .这意味着不仅有数字，还有一个指针和另一条信息，说明它至少是什么类别。这会产生很多开销。

但同样值得注意的是 xrange有效。

xrange创建一个可以被 LOAD_NAME (xrange) 迭代的类实例( CALL_FUNCTION , for ) . for将(基本上)委托(delegate)给迭代器的 __iter__ 上的函数调用. 每个循环都有一个函数调用。

此外，每次你想获取或设置变量z或 i ，它必须在本地人字典中查找。这真的很慢。

---

在 Cython 中运行纯 Python 代码:

当您在 Cython 中运行它时(您问题中的第三个示例)，它会编译为 C。但是 C 所做的只是告诉 CPython 虚拟机该做什么。

独自使用 CPython:一个人在读一本书，然后认真地执行它的功能。
CPython 与 Cython:一个人大喊指令一个小心翼翼地执行其功能的人。

它可能会快一点点，但慢的部分仍然是 CPython 正在缓慢地完成工作。

---

使用cythonized代码:

当你 cdef long long 时会发生什么，那么呢？

• Cython 知道 xrange正在作用于 long long :

  • 它知道循环是有效的(所以它不必检查你是否给它一个 list 或类似的)

  • 它知道循环不会溢出(因为如果它溢出，它就是未定义的!)

  • 因此它可以将它变成一个 C 循环 ( for (int index=0; index<copy_of_value; index++) { i = index; ... } )

• 这避免了 int和 long有很多间接开销和类型检查的类

• 这避免了字典查找。事情总是在你把它们放在堆栈上的地方

• 例如 i ** 2更简单，因为例程可以内联(它始终是一个数字，伙计)并直接处理整数并忽略溢出

所以结果最终主要由 C 运行，并且只转到 CPython 进行一些清理工作和 print电话。

---

有道理吗？