hadoop - Hortan沙箱是否可以用作单节点Hadoop集群

Question

我喜欢研究Hadoop多节点设置和安装，通过引用以上教程，我了解单节点集群环境可以用作多节点集群的节点。

http://bigdatahandler.com/hadoop-hdfs/hadoop-multi-node-cluster-setup/

目前，我正在使用Horton沙箱学习Hadoop，我们可以将沙箱系统用作单节点环境吗？

如果不是，沙箱和传统Hadoop集群安装之间有什么区别

Answer 1

沙盒镜像(来自Hortonworks和Cloudera)为用户提供了一个预先配置的开发环境，其中已提供并安装了所有常规工具( pig ， hive 等)。由于镜像是单个“系统”，因此需要进行设置，以使hadoop群集是单节点的:即，所有内容-HDFS，Hadoop map-reduce等-都位于该镜像的本地。这是一个巨大的好处，因为任何建立了Hadoop集群的人都会告诉您!它使您能够以很少的运营开销启动和运行。

但是，这些沙箱没有提供的是逼真的群集行为，因为您只有一个节点。但是还有其他可能性-诸如Vagrant和Docker之类的工具-可以让您做到这一点(我自己还没有尝试过)。

您共享的大数据处理程序链接似乎是关于合并这些独立的，固有的单节点“集群”中的几个，以便您获得更现实的东西。但是我猜想要进行设置，以使YARN，Zookeeper和其他服务不会重复出现，这并不是一个微不足道的挑战。