java - 在eclipse中远程调试Hadoop

Question

我是 Hadoop 世界的新手。我有一个远程 Hadoop 集群。我想在家里用 Eclipse 编写 Java 代码，然后在 Hadoop 集群中运行代码。

我找到了一些相似的主题，但答案不同，所以我不知道哪个合适。我做了一个结论，应该是两步:

1. 在 eclipse 中配置:调试配置 -> 远程 Java 应用程序 -> 新建 -> 输入“主机”和“端口”
2. 调用 Hadoop 管理员，他应该为我做以下事情:
   • export HADOOP_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5000"
   • 重启hadoop

有那么简单吗？或者我需要执行一些额外的步骤？

Answer 1

这取决于您想要运行哪种作业(MapReduce 或 HDFS)。您可以尝试将 Hadoop 集群配置的完全限定路径添加到应用程序的类路径中。 core-default-site.xml 必须首先出现，然后是 core-site.xml，然后是您需要的任何其他附加配置。有关更具体的详细信息，请参阅 Hadoop Javadoc:http://hadoop.apache.org/docs/current/api/org/apache/hadoop/conf/Configuration.html .还可以选择通过 SSH 远程运行应用程序。