scheduler - TORQUE、HTCondor 和 Apache Mesos 之间的主要区别是什么

Question

http://www.adaptivecomputing.com/products/open-source/torque/

https://research.cs.wisc.edu/htcondor/

我正在寻找一个程序来执行分布式计算(虽然不需要并行计算)，它具有:

调度程序

队列管理(FIFO，或者最好是更高级的)

一份好的统计报告

在异构集群上运行的能力(一组具有不同特性的机器，例如 cpu 和内存)

并且非常重要:良好的响应性(在任务触发和实际开始执行之间最多几秒钟:我听说这可能很难用 HTCondor 和 TORQUE 实现？Apache Mesos 怎么样？)

Answer 1

有一个相当大的wikipedia page进行比较，但您几乎不会发现很大的差异。我的猜测是理论上大多数事情都可以在任一框架中完成。您列出的所有内容都取决于视角(例如，人们通常从 HTCondor 日志中编写自己的复杂统计数据)。关于响应能力:如果有足够的资源让 worker 接手工作，HTCondor 可以很好地安排交互式笔记本。几秒钟通常没有问题，但几乎没有保证。这些是高吞吐量系统，但不是低延迟系统。如果您关心延迟，您应该预先分配工作人员并向上和向下扩展它们(这里对其他框架的支持比原生延迟更有用)。
我尽力从我的角度突出每个项目的主要焦点，这对于实际决策很重要:
目标观众
金币:

PaaS/IaaS 旨在运行其他调度程序 (you can run Torque on top of Mesos)

尤其是与 Spark 等大数据框架的互操作& Kafka

对比
HTCondor 和扭矩:

公平份额批处理，特别是在科学集群中(高吞吐量计算)

生态系统
金币:

Apache 开源项目 community

对比
宏达:

由 UW-Madison 维护的开放源代码，带有经典 user mailing-list

对比
扭矩:

专有，Commercial support

便于使用
(部分是统计数据，但更多的是仪表板样式)
金币和扭矩:

网页界面

通常与其他可用框架集成(对于 TORQUE 查找 PBS)

宏达:

新的、正在开发的 REST 和 python 交互，但没有通用的 GUI

在框架支持方面有点落后(R 批处理工具，最近有 dask 支持)