python - 我需要加速一个功能。我应该使用 cython、ctypes 还是其他东西？

Question

通过编写遗传编程类型的应用程序，我从学习 Python 中获得了很多乐趣。

在这个网站上，我从 Torsten Marek、Paul Hankin 和 Alex Martelli 那里得到了一些很好的建议。

程序有4个主要功能:

• (随机地)生成一个表达式树。
• 评估树的适应度
• 杂交
• 变异

作为生成、杂交和变异的所有调用“评估适应性”。它是最繁忙的功能，也是速度方面的主要瓶颈。

正如遗传算法的本质一样，它必须搜索巨大的解空间，所以越快越好。我想加快这些功能中的每一个。我将从健康评估器开始。我的问题是最好的方法是什么。我一直在研究 cython、ctypes 和“链接和嵌入”。它们对我来说都是新的，而且目前完全超出了我的能力范围，但我期待着学习一个，并最终学习所有这些。

“适应度函数”需要将表达式树的值与目标表达式的值进行比较。因此它将包含一个后缀评估器，它将以后缀顺序读取树。我有 python 中的所有代码。

我需要关于我现在应该学习和使用的建议:cython、ctypes 或链接和嵌入。

谢谢。

Answer 1

暂时忽略其他人的回答。您应该学会使用的第一件事是探查器。 Python自带一个profile/cProfile；您应该学习如何阅读结果并分析真正的瓶颈在哪里。优化的目标有三个:减少每次调用所花费的时间、减少要进行的调用次数以及减少内存使用量以减少磁盘抖动。

第一个目标相对容易。分析器将向您显示最耗时的函数，您可以直接转到该函数进行优化。

第二个和第三个目标更难，因为这意味着您需要更改算法以减少调用次数。找到调用次数多的函数，并尝试找到减少调用它们的方法。利用内置的集合，它们得到了很好的优化。

如果你正在做大量的数字和数组处理，你应该看看 pandas、Numpy/Scipy、gmpy 第三方模块；它们是用于处理数组/表格数据的优化 C 库。

您想要尝试的另一件事是 PyPy。 PyPy 可以进行 JIT 重新编译并进行比 CPython 更高级的优化，并且无需更改 Python 代码即可运行。尽管针对 CPython 优化良好的代码与针对 PyPy 优化良好的代码看起来完全不同。

接下来要尝试的是 Cython。 Cython 是一种与 Python 略有不同的语言，事实上，Cython 实际上最好被描述为具有类型化的 Python 语法的 C。

对于您无法再使用任何其他方式优化的非常紧凑的循环代码部分，您可能希望将其重写为 C 扩展。 Python 对使用 C 进行扩展有很好的支持。在 PyPy 中，扩展 PyPy 的最佳方式是使用 cffi。