amazon-web-services - 中等 Hadoop/Spark 集群管理

Question

如果这个问题更适合不同的 channel ，请告诉我，但我想知道推荐的工具是什么，可以在大量远程服务器上安装、配置和部署 hadoop/spark。我已经熟悉如何设置所有软件，但我正在尝试确定我应该开始使用什么，这将使我能够轻松地跨大量服务器进行部署。我已经开始研究配置管理工具(即 chef、puppet、ansible)，但想知道最好的和最用户友好的选项是什么。我也不想使用 spark-ec2。我应该创建自己开发的脚本来遍历包含 IP 的主机文件吗？我应该使用 pssh 吗？ PSCP？等。我希望能够根据需要与尽可能多的服务器进行 ssh 连接并安装所有软件。

Answer 1

如果您有一些脚本语言方面的经验，那么您可以选择 Chef。这些配方已经可用于集群的部署和配置，并且非常容易上手。

如果你想自己做，那么你可以使用在远程服务器上运行脚本的 sshxcute java API。您可以在那里构建命令并将它们传递给 sshxcute API 以部署集群。