python - 如何加快Python代码在功能强大的计算机上运行的速度？

Question

Closed. This question needs to be more focused。它目前不接受答案。
想改进这个问题吗？更新问题，使其只关注一个问题 editing this post。
5年前关闭。
我已经完成了一个使用增强分类器的多类分类算法的编写。其中一个主要的计算方法是加权最小二乘回归。
我使用的主要库包括：
统计模型（用于回归）
努比（几乎无处不在）
scikit图像（用于提取图像的HoG特征）
我用Python开发了这个算法，使用了Anaconda的Spyder。
我现在需要使用算法来开始训练分类模型。因此，我将通过大约7000到10000张图像到这个算法，每个大约50x100，所有在灰度。
现在我被告知有一台强大的机器可以加速训练过程。他们问我“我在用GPU吗？”还有其他几个问题。
老实说，我在CUDA/GPU等方面没有经验，我只听说过它们。我没有考虑到任何这样的事情来开发我的代码。事实上，我有一个（无知的）印象，一台好机器会自动比一台普通机器更快地运行我的代码，而无需我做任何事情。（显然除了在循环、O（n）等方面高效地编写常规代码之外）。
我的代码是否还可能仅仅因为在高性能计算机上而加速？或者我需要修改它以使用并行处理机器？

最佳答案

这些评论和莫杰的回答给了我们很多好的建议。我有一些使用python进行信号/图像处理的经验，并且反复地将我的头撞到性能墙上，我只想分享一些关于让事情变得更快的想法。也许这些有助于用慢算法找出可能的解决方案。
时间花在哪里？
我们假设你有一个很好的算法，但是太慢了。第一步是对它进行分析，看看时间花在哪里。有时候时间是用一种愚蠢的方式做一些琐碎的事情。它可能在您自己的代码中，甚至可能在库代码中。例如，如果要运行具有较大内核的二维高斯滤波器，则直接卷积非常慢，甚至FFT也可能很慢。用计算便宜的连续滑动平均来近似滤波器可以在某些情况下使事情加速10或100倍，并给出足够接近的结果。
如果在某个模块/库代码中花费了大量时间，则应检查算法是否只是一个慢算法，或者库中是否有慢算法。Python是一种很好的编程语言，但是对于纯数字运算来说，它并不好，这意味着大多数伟大的库都有一些二进制库来完成繁重的工作。另一方面，如果可以找到合适的库，那么在信号/图像处理中使用python的代价通常可以忽略不计。因此，用C语言重写整个程序通常没有多大帮助。
即使用C语言编写一个好的算法也不总是件小事，有时性能可能会因诸如CPU缓存之类的事情而变化很大。如果数据在CPU缓存中，则可以非常快地获取，如果不是，则算法要慢得多。这可能会根据数据大小在处理时间中引入非线性步骤。（大多数人是从虚拟内存交换中知道这一点的，在虚拟内存交换中更为明显。）因此，用100000点解决100个问题可能比用10000点解决1个问题更快。
要检查的一件事是计算中使用的精度。在某些情况下，float32与float64一样好，但速度要快得多。在许多情况下没有区别。
多线程
巨蟒-我说过了吗？-是一种伟大的编程语言，但它的缺点之一是它的基本形式是运行一个线程。所以，不管你的系统有多少内核，挂钟时间总是一样的。结果是，其中一个核心是100%，其他的花时间闲置。使事物并行并具有多个线程可能会提高性能的一个因素，例如，在4核计算机中为3。
如果你能把问题分成几个独立的小部分，这通常是一个很好的主意。它有助于解决许多性能瓶颈。
别指望技术能拯救我们。如果代码不是为并行而编写的，那么机器很难使其并行。
GPU
你的机器可能有一个很好的GPU，大约有1536个饥渴的内核，随时可以处理你扔给它们的所有东西。坏消息是，制作GPU代码与编写CPU代码有点不同。有一些稍微通用的api（CUDA，OpenCL），但是如果您不习惯为gpu编写并行代码，请准备一个陡峭的学习曲线。另一方面，很可能有人已经编写了您需要的库，然后您只需要挂接到它。
有了GPU，纯粹的数字运算能力令人印象深刻，几乎令人恐惧。我们可以讨论3tflops（每秒3x 10^12个单精度浮点运算）。问题在于如何将数据传输到GPU内核，因为内存带宽将成为限制因素。这意味着，尽管在许多情况下使用gpu是一个好主意，但在很多情况下没有收益。
通常，如果您在图像上执行许多本地操作，这些操作很容易并行，并且很适合GPU。如果你在做全球业务，情况会更复杂一些。FFT需要从图像的各个部分获取信息，因此标准算法不能很好地与gpu一起工作。（有基于GPU的FFTs算法，它们有时会使速度更快。）
另外，要注意的是，让你的算法运行在一个GPU上会把你绑定到这个GPU上。代码在操作系统或机器之间的可移植性受到了影响。
买点表演
另外，需要考虑的一件重要事情是，是否需要运行算法一次、一段时间一次或实时运行。有时，解决方案就像从一台更大的计算机上购买时间一样简单。每小时一两美元，你就可以从拥有大量资源的高速机器上买到时间。它比你想象的要简单，而且通常要便宜。同样，GPU的容量也可以很容易地以类似的价格购买。
一些云服务的一个可能稍显不足的特性是，在某些情况下，虚拟机的IO速度与物理机相比非常好。不同之处在于没有旋转盘，平均每次数据搜索半圈。这对于数据密集型应用程序可能很重要，特别是当您处理大量文件并以非线性方式访问它们时。

关于python - 如何加快Python代码在功能强大的计算机上运行的速度？ ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24306285/

上一篇：python - 无法保存 Django 表单 : 'UserProfile' object has no attribute 'save_m2m'

下一篇：python - 尝试/排除类中的每个方法？

相关文章：

python - 使用python opencv播放视频文件

python - netCDF Python : How to get the data type of an attribute of a variable?

python - Python 中是否支持稀疏矩阵？

python - 根据pandas中的条件更改数据框的所有值

python - 从 Django 的 raw() 查询函数中获取结果数

python - 我如何计算数字/位数组的所有可能性(在 python 中，或与此相关的任何语言)

javascript - 替换多次出现的动态字符串？

c# - C# 中的数学优化

Android 字典 TreeSet 更快的加载时间

python - 如何计算 Python 中非高斯分布中值的中值和 68% 置信区间？

Answer 1

这些评论和莫杰的回答给了我们很多好的建议。我有一些使用python进行信号/图像处理的经验，并且反复地将我的头撞到性能墙上，我只想分享一些关于让事情变得更快的想法。也许这些有助于用慢算法找出可能的解决方案。
时间花在哪里？
我们假设你有一个很好的算法，但是太慢了。第一步是对它进行分析，看看时间花在哪里。有时候时间是用一种愚蠢的方式做一些琐碎的事情。它可能在您自己的代码中，甚至可能在库代码中。例如，如果要运行具有较大内核的二维高斯滤波器，则直接卷积非常慢，甚至FFT也可能很慢。用计算便宜的连续滑动平均来近似滤波器可以在某些情况下使事情加速10或100倍，并给出足够接近的结果。
如果在某个模块/库代码中花费了大量时间，则应检查算法是否只是一个慢算法，或者库中是否有慢算法。Python是一种很好的编程语言，但是对于纯数字运算来说，它并不好，这意味着大多数伟大的库都有一些二进制库来完成繁重的工作。另一方面，如果可以找到合适的库，那么在信号/图像处理中使用python的代价通常可以忽略不计。因此，用C语言重写整个程序通常没有多大帮助。
即使用C语言编写一个好的算法也不总是件小事，有时性能可能会因诸如CPU缓存之类的事情而变化很大。如果数据在CPU缓存中，则可以非常快地获取，如果不是，则算法要慢得多。这可能会根据数据大小在处理时间中引入非线性步骤。（大多数人是从虚拟内存交换中知道这一点的，在虚拟内存交换中更为明显。）因此，用100000点解决100个问题可能比用10000点解决1个问题更快。
要检查的一件事是计算中使用的精度。在某些情况下，float32与float64一样好，但速度要快得多。在许多情况下没有区别。
多线程
巨蟒-我说过了吗？-是一种伟大的编程语言，但它的缺点之一是它的基本形式是运行一个线程。所以，不管你的系统有多少内核，挂钟时间总是一样的。结果是，其中一个核心是100%，其他的花时间闲置。使事物并行并具有多个线程可能会提高性能的一个因素，例如，在4核计算机中为3。
如果你能把问题分成几个独立的小部分，这通常是一个很好的主意。它有助于解决许多性能瓶颈。
别指望技术能拯救我们。如果代码不是为并行而编写的，那么机器很难使其并行。
GPU
你的机器可能有一个很好的GPU，大约有1536个饥渴的内核，随时可以处理你扔给它们的所有东西。坏消息是，制作GPU代码与编写CPU代码有点不同。有一些稍微通用的api（CUDA，OpenCL），但是如果您不习惯为gpu编写并行代码，请准备一个陡峭的学习曲线。另一方面，很可能有人已经编写了您需要的库，然后您只需要挂接到它。
有了GPU，纯粹的数字运算能力令人印象深刻，几乎令人恐惧。我们可以讨论3tflops（每秒3x 10^12个单精度浮点运算）。问题在于如何将数据传输到GPU内核，因为内存带宽将成为限制因素。这意味着，尽管在许多情况下使用gpu是一个好主意，但在很多情况下没有收益。
通常，如果您在图像上执行许多本地操作，这些操作很容易并行，并且很适合GPU。如果你在做全球业务，情况会更复杂一些。FFT需要从图像的各个部分获取信息，因此标准算法不能很好地与gpu一起工作。（有基于GPU的FFTs算法，它们有时会使速度更快。）
另外，要注意的是，让你的算法运行在一个GPU上会把你绑定到这个GPU上。代码在操作系统或机器之间的可移植性受到了影响。
买点表演
另外，需要考虑的一件重要事情是，是否需要运行算法一次、一段时间一次或实时运行。有时，解决方案就像从一台更大的计算机上购买时间一样简单。每小时一两美元，你就可以从拥有大量资源的高速机器上买到时间。它比你想象的要简单，而且通常要便宜。同样，GPU的容量也可以很容易地以类似的价格购买。
一些云服务的一个可能稍显不足的特性是，在某些情况下，虚拟机的IO速度与物理机相比非常好。不同之处在于没有旋转盘，平均每次数据搜索半圈。这对于数据密集型应用程序可能很重要，特别是当您处理大量文件并以非线性方式访问它们时。