gpt4 book ai didi

python - 使用Python在云端进行并行处理

转载 作者:太空宇宙 更新时间:2023-11-03 15:56:51 24 4
gpt4 key购买 nike

有了 python-pandas 知识和可扩展的云,在云中实现并行计算的最佳方法是什么? (我只有一台机器,cpu多,机器不多)

我目前拥有的云是 Amazon 云,带有 Windows 服务器(可扩展到 40 个 CPU 和 160GB 内存),但我可以评估使用不同的云提供商和不同的操作系统。

我想到了两种可能性:

  • 使用Python标准多处理模块(没有任何其他软件)
  • 带有 python 接口(interface)的独立 Spark

Spark 应该比 python 多处理更高效?还有其他方法可以评估吗?

最佳答案

“要使用启动脚本启动 Spark 独立集群,您应该在 Spark 目录中创建一个名为 conf/slaves 的文件,其中必须包含您打算启动 Spark 工作线程的所有计算机的主机名,每行一个。 ”

看这里: http://spark.apache.org/docs/latest/spark-standalone.html#cluster-launch-scripts

祝你好运

关于python - 使用Python在云端进行并行处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40705110/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com