python - 我严重破坏了 Cython，它的性能比纯 Python 还差。为什么？

Question

我是 Python 的新手，对 C 语言一无所知(不幸的是)，所以我很难正确理解使用 Cython 的某些方面。

在分析一个 Python 程序并发现它只是几个循环占用大部分时间后，我决定研究将它们转储到 Cython 中。最初，我只是让 Cython 按原样解释 Python，结果是(非常好!)~2 倍的速度提升。酷!

在 Python 主程序中，我向函数传递了两个二维数组(“a”和“b”)和一个 float “d”，它返回一个列表“newlist”。例如:

a =[[12.7, 13.5, 1.0],[23.4, 43.1, 1.0],...]
b =[[0.46,0.95,0],[4.56,0.92,0],...]
d = 0.1

这是原始代码，只是为 Cython 添加了 cdef:

def loop(a, b, d):

    cdef int i, j
    cdef double x, y

    newlist = []

    for i in range(len(a)):
        if b[i][2] != 1:
            for j in range(i+1,len(a)):
                if a[i] == a[j] and b[j][2] != 1:
                    x = b[i][0]+b[j][0]
                    y = b[i][1]+b[j][1]
                    b[i][2],b[j][2] = 1,1

                    if abs(y)/abs(x) > d:
                        if y > 0: newlist.append([a[i][0],a[i][1],y])

    return newlist

在“纯 Python”中，它在 ~12.5 秒内运行(有数万次循环)。在 Cython 中，它运行了大约 6.3 秒。完成接近零的工作，取得了巨大进步!

然而，通过一些阅读，很明显可以做更多的事情，所以我开始尝试应用一些类型更改来让事情进展得更快，遵循 Cython 文档，here (也在评论中引用)。

以下是收集的修改，旨在模仿 Cython 文档:

import numpy as np
cimport numpy as np

DtypeA = np.float
DtypeB = np.int

ctypedef np.float_t DtypeA_t
ctypedef np.int_t DtypeB_t

def loop(np.ndarray[DtypeA_t, ndim=2] A,
         np.ndarray[DtypeA_t, ndim=2] B,
         np.ndarray[DtypeB_t, ndim=1] C,
         float D):

    cdef Py_ssize_t i, j
    cdef float x, y

    cdef np.ndarray[DtypeA_t, ndim=2] NEW_ARRAY = np.zeros((len(C),3), dtype=DtypeA)

    for i in range(len(C)):
        if C[i] != 1:
            for j in range(i+1,len(C)):
                if A[i][0]==A[j][0] and A[i][1]==A[j][1] and C[j]!= 1:
                    x = B[i][0]+B[j][0]
                    y = B[i][1]+B[j][1]
                    C[i],C[j] = 1,1

                    if abs(y)/abs(x) > D:
                        if y > 0: NEW_ARRAY[i]=([A[i][0],A[i][1],y])

    return NEW_ARRAY

除此之外，我将之前的数组“b”拆分为两个不同的输入数组“B”和“C”，因为“b”的每一行包含 2 个浮点元素和一个仅用作标志的整数。所以我删除了标志整数并将它们放在一个单独的一维数组“C”中。所以，输入现在看起来像这样:

A =[[12.7, 13.5, 1.0],[23.4, 43.1, 1.0],...]
B =[[0.46,0.95],[4.56,0.92],...]
C =[0,0,...]
D = 0.1

理想情况下，现在输入所有变量应该会快得多(？)...但显然我做错了一些事情，因为函数现在在 35.3 秒时出现...更糟糕比“纯 Python”!!

我到底在搞什么鬼？感谢阅读!

Answer 1

我相信索引符号 b[j][0] 的使用可能会抛弃 Cython，使其无法在幕后使用快速索引操作。顺便说一句，即使在纯 Python 代码中，这种风格也不是惯用的，可能会导致代码变慢。

尝试在整个过程中使用符号 b[j,0]，看看它是否会提高您的性能。