linux - 用于远程作业提交的典型 Hadoop 设置

Question

所以我对 hadoop 还是有点陌生​​，目前正在 Amazonaws 上建立一个小型测试集群。所以我的问题与集群结构的一些技巧有关，因此可以从远程机器提交作业。

目前我有 5 台机器。 4基本上是带有NameNodes，Yarn等的Hadoop集群。一台机器用作管理器机器(Cloudera Manager)。我将描述我在设置上的思考过程，如果有人能对我不清楚的地方提出意见，那就太好了。

我在想什么是小型集群的最佳设置。所以我决定只公开一台管理器机器，并可能使用它来通过它提交所有作业。其他机器将看到彼此等，但无法从外部世界访问。我对如何做到这一点有概念性的想法，但我不确定如何正确地去做这件事，如果有人能指出我正确的方向，那就太好了。

还有一个重点是，我希望能够通过暴露的机器从客户端机器(可能是 Windows)向集群提交作业。我对这个设置也不是很清楚。我是否需要在机器上安装 Hadoop 才能使用普通的 hadoop 命令，以及从 Eclipse 或类似的东西编写/提交作业。

总而言之，我的问题是，

1. 这对小型测试集群来说是否合适？
2. 我如何才能使用一台暴露的机器将作业提交/路由到集群，而无需在其上安装任何 Hadoop 节点。
3. 如何设置客户端计算机以将作业提交到远程集群，以及有关如何在 Windows 上执行此操作的示例。此外，如果有任何理由不在此设置中使用 Windows 作为客户端计算机。

谢谢，如果有任何建议或帮助，我将不胜感激。

Answer 1

既然没有回答，我会尝试回答。

1。 rest api提交申请:

资源 1(集群应用程序 API(提交申请)):https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Applications_APISubmit_Application

资源 2:https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.5/bk_yarn-resource-management/content/ch_yarn_rest_apis.html

资源 3:https://hadoop-forum.org/forum/general-hadoop-discussion/miscellaneous/2136-how-can-i-run-mapreduce-job-by-rest-api

资源 4:Run a MapReduce job via rest api

2。从客户端计算机提交 hadoop 作业

资源 1:https://pravinchavan.wordpress.com/2013/06/18/submitting-hadoop-job-from-client-machine/

3。发送程序到远程hadoop集群

可以将程序发送到远程 Hadoop 集群上运行。您需要确保在运行实际作业之前正确设置了资源管理器地址、fs.defaultFS、库文件和 mapreduce.framework.name。资源 1:(how to submit mapreduce job with yarn api in java)