eclipse - 在 Eclipse 中运行 Map Reduce 程序

Question

我有一个 Map/Reduce 程序，它加载一个文件并将其读入 hbase。如何通过 Eclipse 执行我的程序？我用谷歌搜索并找到了两种方法:

1) Using Eclipse Hadoop plugin
2) Create a jar file and execute it in Hadoop server

但是，我可以通过提供连接详细信息并在 eclipse 中运行来执行我的 Map/Reduce 程序吗？任何人都可以告诉我运行 Hbase Map/Reduce 程序的确切过程吗？

Answer 1

我做了以下事情:

• 在我的机器上安装并配置了 hadoop(和 hdfs)
• 使用我的 hadoop 作业的所有类构建了一个 maven 化的 java 项目
• 其中一个类是我的“MR”或“作业”类，它有一个配置和提交我的 hadoop 作业的静态主要方法
• 我在 Eclipse 中将 MR 类作为 Java 应用程序运行

该作业使用 java 项目类路径中的库在 hadoop 中运行(因此不会显示在作业跟踪器中)。对 HDFS 文件的任何引用都使用您使用非 eclipse hadoop 安装安装和格式化的 HDFS 文件系统。

这与 Eclipse 中的调试器配合得很好，尽管手动构建 JUnit 测试有点痛苦。