gpt4 book ai didi

bash - 使用 SSH 和 NFS 在集群上进行并行化的最简单方法是什么?

转载 作者:行者123 更新时间:2023-12-02 13:59:44 25 4
gpt4 key购买 nike

我有很多微不足道的可并行计算和很多(100 多个)分布在 SSH + NFS 网络上的核心。什么是最简单的并行化方式。问题是我不知道每项任务需要多长时间,所以我需要某种队列。有什么非常好用的吗?

最佳答案

Mincemeat.py是为此目的而设计的 MapReduce 的轻量级 Python 实现。没有一种简单的方法来启动所有进程(除非您在集群上有类似 Condor 的东西),但除此之外它应该能满足您的需要。

关于bash - 使用 SSH 和 NFS 在集群上进行并行化的最简单方法是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4019457/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com