java - Hadoop:如何远程调试单个 oozie java 工作流

Question

我无法将调试器连接到 java workflow .

我不希望打开整个 hadoop 作业进行调试(如许多地方所指定，例如 How to debug hadoop mapreduce jobs from eclipse? 或 REMOTE DEBUGGING OF HADOOP JOB WITH ECLIPSE 等...)。我希望调试单个(!)工作流程。

我有一个小型集群(3 台机器)，我希望在这个模拟的开发环境中进行调试。

我曾尝试在工作流程中指定以下内容:

<property>
    <name>mapred.child.java.opts</name>
    <value>-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=12121</value>
</property>

但这并没有奏效。

还有一件事是我实际上将它作为 sub-workflow 运行

建议？

Answer 1

你只需要包括这个......

<property>
   <name>oozie.launcher.mapred.child.java.opts</name>
   <value>-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=12121</value>
</property>     

或者，就我而言......

<property>
   <name>oozie.launcher.mapred.child.java.opts</name>
   <value>-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=7777</value>
</property>