gpt4 book ai didi

java - 在 Hadoop 中映射应用程序

转载 作者:行者123 更新时间:2023-12-02 21:53:11 26 4
gpt4 key购买 nike

我有一个涉及客户端和服务器的项目。我用java开发了应用程序的两个部分,我想在hadoop集群中测试它,因为服务器端是云的模拟,所以通过使用hadoop,我想让我的应用程序真正意义上的云环境。我首先创建了一个多节点 Hadoop 集群,但我不知道下一步应该做什么。
我将不胜感激。

最佳答案

实现这一点的正确方法是使用一个 restful 接口(interface)来发送命令。

例如,在作为 JobTracker 的计算机上,您可以托管一个 Tomcat 休息服务器。 (确保 hadoop 守护进程在后台运行)。您可以使用基于 Spring/Hibernate 的 servlet 来处理对服务器的请求。最后,在 servlet 中,您可以包含 hadoop-jars 并通过 hadoop API 调用 hadoop,或者您可以通过控制台调用 hadoop (./hadoop runjar blah)。

为了将文件上传到服务器,您可以使用 sftp 接口(interface),或者可能直接将文件上传到 hdfs。

如果你愿意,我可以和你分享一些代码,因为我做过一个类似的项目。

此外,您可以查看 Apache Oozie。他们为 hadoop 提供了一个 Restful 工作流程 api。

关于java - 在 Hadoop 中映射应用程序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18176281/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com