api - 如何不通过终端提交带有 jar 的 MapRecude 作业？ (以编程方式)

Question

我是 Hortonworks 的新手(使用 yarn、hadoop 2.6)，正在尝试研究如何提交 MapReduce，但我不想使用终端命令来完成，我想以编程方式完成。我想编写外部 java 程序来运行 MR jar。

我看了这里: Cluster_Applications_API(Submit_Application)

我看到需要获取新的应用程序 ID:

Cluster_New_Application_API

但是当我使用他们描述的内容时:“_http://[我的主机 ip]:[port=8088]/ws/v1/cluster/apps/new-application”我得到异常:

<RemoteException>
<exception>WebApplicationException</exception>
<javaClassName>javax.ws.rs.WebApplicationException</javaClassName>
</RemoteException> 

我错过了什么吗？有人有提交和监控 MR 作业的 REST 示例代码吗？

谢谢!

Answer 1

没有完全回答您的问题 - 但您可以尝试从 bash 脚本运行作业，并使用 bash 实现您想要启 Action 业的任何自动逻辑。如果使用 java 至关重要，您可以根据需要从 java 外部调用您创建的脚本(运行该作业)。