cluster-computing - Condor、Sun Grid Engine 或其他什么？

Question

我正在尝试确定我们是否应该在工作中试用 Condor 或 Sun Grid Engine(或其他可能的东西)。

我们经常有很多未使用的 WinXp 工作站。希望我们可以使用 LAN 唤醒，运行所有作业，然后自动关闭。我们将主要为蒙特卡罗或参数探索运行 Matlab、Java 或 Python 模拟。

由于我对 Condor 的了解有限，听起来使用 vm Universe 可能是一种无需修改现有代码即可处理快照的便捷方式。

对于这种工作，SGE 或其他什么东西比 condor 更好？

Answer 1

SGE 并不真正支持 Windows。它带有 all kinds of caveats and missing bits on Windows .

我已经运行 Condor 池很多年了，它是一个极好的 HTPC 设置，用于在 Linux 和 Windows 机器上进行周期窃取和专用的、永远在线的硬件。最近添加了他们的Rooster daemon允许您在作业周期之间让机器休眠，并在池中出现新工作时唤醒它们。他们还有一个活跃且非常有帮助的支持社区。检查点是 Windows 上唯一不可用的 Condor 功能。其他一切都在那里。随着 VM Universe 的加入，检查点的用处越来越小。真的:要成功使用检查点，您需要能够重新链接整个代码堆栈。因此，如果您正在运行 Matlab 作业，即使在 Linux 上，也不可能进行检查点操作。

如果您有关于在 Windows 上运行 Condor 的具体问题，我很乐意回答，请分享我的经验。我在全局 4 个池中运行 Condor，所有池中总共有大约 1500 台专用机器，还有大约 1000 台额外的台式机供用户捐赠。