hadoop - BOINC 与 Hadoop/Spark/等的区别

Question

BOINC https://en.wikipedia.org/wiki/Berkeley_Open_Infrastructure_for_Network_Computing 有什么区别？

对比通用 Hadoop/Spark/等。大数据框架？它们似乎都是分布式计算框架 - 有什么地方可以让我了解差异或特别是 BOINC？

似乎欧盟的大型强子对撞机正在使用 BOINC，为什么不使用 Hadoop？

谢谢。

Answer 1

BOINC is software that can use the unused CPU and GPU cycles on a computer to do scientific computing

BOINC 严格来说是一个单一的应用程序，可以使用未使用的计算周期进行网格计算。

Apache Hadoop is an open-source software framework for distributed storage and distributed processing of very large data sets on computer clusters built from commodity hardware.All the modules in Hadoop are designed with a fundamental assumption that hardware failures are common and should be automatically handled by the framework.

The core of Apache Hadoop consists of a storage part, known as Hadoop Distributed File System (HDFS), and a processing part called MapReduce.

(强调添加到框架和它的双重功能)

在这里，你看到的Hadoop是一个兼具存储和计算能力的框架(也称为生态系统)。 Cloudera 和 Hortonworks 等 Hadoop 供应商将附加功能(Hive、Hbase、Pig、Spark 等)以及一些安全/审计工具捆绑在一起。

此外，这两个集群处理硬件故障的方式不同。如果一个 BOINC 节点死亡，则没有容错；这些资源丢失了。在 Hadoop 的情况下，数据被复制并且任务在最终失败之前重新运行一定次数，但只要框架中内置的日志记录服务正在运行，这些步骤是可追踪的。

Seems the Large Hadron Collider in EU is using BOINC, why not Hadoop?

因为 BOINC 提供了一个软件，世界上任何人都可以安装加入集群，他们几乎可以从任何地方免费获得大范围的计算能力。

他们可能在内部使用 Hadoop 来做一些存储，也许使用 Spark 来做额外的计算，但批量购买商品硬件并构建/维护该集群似乎成本过高。