gpt4 book ai didi

eclipse - 在 Eclipse 中运行 Map Reduce 程序

转载 作者:可可西里 更新时间:2023-11-01 16:19:10 25 4
gpt4 key购买 nike

我有一个 Map/Reduce 程序,它加载一个文件并将其读入 hbase。如何通过 Eclipse 执行我的程序?我用谷歌搜索并找到了两种方法:

1) Using Eclipse Hadoop plugin
2) Create a jar file and execute it in Hadoop server

但是,我可以通过提供连接详细信息并在 eclipse 中运行来执行我的 Map/Reduce 程序吗?任何人都可以告诉我运行 Hbase Map/Reduce 程序的确切过程吗?

最佳答案

我做了以下事情:

  • 在我的机器上安装并配置了 hadoop(和 hdfs)
  • 使用我的 hadoop 作业的所有类构建了一个 maven 化的 java 项目
  • 其中一个类是我的“MR”或“作业”类,它有一个配置和提交我的 hadoop 作业的静态主要方法
  • 我在 Eclipse 中将 MR 类作为 Java 应用程序运行

该作业使用 java 项目类路径中的库在 hadoop 中运行(因此不会显示在作业跟踪器中)。对 HDFS 文件的任何引用都使用您使用非 eclipse hadoop 安装安装和格式化的 HDFS 文件系统。

这与 Eclipse 中的调试器配合得很好,尽管手动构建 JUnit 测试有点痛苦。

关于eclipse - 在 Eclipse 中运行 Map Reduce 程序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12282507/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com