python - 如何通过 pyspark/hadoop/etc 提高程序的速度？

Question

我有一个大型矩阵目录，我正在对此类矩阵应用一些昂贵的操作。管道看起来像这样:

Directory -> extract matrices -> apply operations -> save in a .csv file

请注意，我将之前的“管道”包装到一个函数中。到目前为止，使用 python 的多处理库，我能够在 1 周内应用以前的管道。但是，我很好奇是否有可能以 spark map-reduce 的方式“并行化”之前的函数。因此，我的任务可以用 pysparks map reduce 来增强吗？我怎样才能提高速度？ (我只有两台笔记本电脑)，你们推荐我在不修改功能的情况下提高管道速度的其他方法是什么？

Answer 1

我认为最简单的事情就是在更大的计算机上运行。 Spark 和 Map-Reduce 并不是真正为笔记本电脑设计的，它们是为服务器设计的。您可以租用服务器(AWS、谷歌计算引擎)并在具有更多内存(我建议至少 32GB，最好是 64GB 或更高)和更多 CPU 内核(4 个或更多)的更大服务器上运行您的管道。在实际租用服务器之前，您始终可以在免费套餐(AWS 和 Google 都有免费套餐)上模拟您的测试。之后，您向它转换更多服务器。

https://aws.amazon.com/ec2/pricing/on-demand/和 https://cloud.google.com/compute/pricing有定价详细信息，但您会惊讶地发现您可以以低于 2 美元/小时的价格购买。