python - 将并行 Python 代码移至云端

Question

听说我目前正在竞选调查员的科学计算项目(恰好是随机纤维束成像方法 described here)在我们的 50 节点集群上需要 4 个月的时间，调查员要求我检查其他选项。该项目目前正在使用并行 python 将 4d 数组的 block 分包给不同的集群节点，并将处理后的 block 放回一起。

我目前正在处理的作业可能过于粗粒度(5 秒到 10 分钟，我不得不增加并行 python 中的超时默认值)，我估计我可以将这个过程加快 2-4 倍通过重写它以更好地利用资源(拆分和重新组合数据花费的时间太长，也应该并行化)。大部分工作由 numpy 数组完成。

假设 2-4 次还不够，我决定从我们的本地硬件中获取代码。对于这样的高吞吐量计算，我的商业选择是什么？我需要如何修改代码？

Answer 1

您可能对 PiCloud 感兴趣.我从未使用过它，但他们的报价显然包括 Enthought Python Distribution ，其中涵盖了标准的科学图书馆。

很难说这是否适用于您的特定情况，但并行 Python 接口(interface)非常通用。所以希望不需要太多的改变。也许您甚至可以编写自定义调度程序类(实现与 PP 相同的接口(interface))。其实这可能对很多人有用，所以也许你可以在 PP 论坛上争取一些支持。