netbeans - 在 Hadoop 集群上运行 mapreduce jar

Question

我正在尝试在 Hadoop 上运行二次筛算法的 map reduce 实现。为此，我将 karmasphere Hadoop 社区插件与 Netbeans 一起使用。该程序使用该插件运行良好。但我无法在实际集群上运行它。我正在运行这个命令

             bin/hadoop jar MRIF.jar 689 

其中MRIF.jar是构建netbeans项目生成的jar文件，689是要分解的数字。输入和输出目录在程序本身中是硬编码的。在实际集群上运行时，内部 java 类似乎没有被处理，因为在 map 本身处于 0% 之前，reduce 完成到 100%。并且创建的输入和输出文件没有内容。

但这在使用 Karmasphere 插件运行时工作正常。

Answer 1

尝试以 bin/hadoop -jar MRIF.jar 689 运行它。 -jar 强制它在本地运行并向控制台显示信息以及向该机器记录日志。您还可以检查 Hadoop 日志，看看它们是否有任何迹象表明为什么它没有正确发生。

当使用-jar时，您可以使用System.out.println(...);在控制台上显示信息，进一步帮助调试。

您还可以使用 Hadoop Counters (链接是我发现的随机博客文章)以在运行(伪)分布式时协助进行故障排除。

我承认这篇文章不是问题的“解决方案”；如果没有关于正在发生的事情和地点的更多/进一步信息，可能会发生各种各样的事情。如果它是，正如您提到的那样，不处理“内部 Java 类”，那么它可能是您的实现，我们看不到它提出建议等。

有关该问题的更多数据(例如日志、错误或输出)可能有助于获得更多解决方案响应而不是调试提示。 :)

编辑:感谢您提供文件链接。我认为您的电话缺少一个组件。

我查看了 run.sh 并认为这可能适合您:

bin/hadoop jar mrif.jar com.javiertordable.mrif.MapReduceQuadraticSieve 689