python - Hadoop 对比迪斯科与。秃鹰？

Question

我正在尝试寻找一种工具来管理集群中 100 台机器上的一堆作业(将作业提交到机器；确保作业正在运行等)。

哪个工具更易于安装/管理:

(1) Hadoop?

(2) 迪斯科？

(3) 秃鹰？

理想情况下，我正在寻找一种尽可能简单但稳健的解决方案。Python 集成也是一个优势。

Answer 1

我不熟悉 Disco 和 Condor，但我可以回答有关 Hadoop 的问题:

Hadoop 专家:

• 稳健且经过验证 - 可能比其他任何产品都好。许多组织(包括我工作的组织)使用它来运行 100 多个节点和更多节点的集群。
• 大型生态系统 = 支持 + 许多子项目让生活更轻松(例如 Pig、Hive)
• 应该可以通过流式 MR 功能或 Jython 支持 Python？

Hadoop 缺点:

• 既不简单也不优雅(恕我直言)。你必须花时间学习。