java - 如何集成eclipse和hadoop 2.6

Question

我已经在我的 ubuntu 14.04 中安装了 hadoop 2.6，但是当我想使用 java API 在 hadoop 中运行代码时，我应该导出一个 jar 文件并使用终端运行它。有什么方法可以用 hadoop 配置 eclipse 并直接在 eclipse 中运行 hadoop 的 java 代码？

Answer 1

将Hadoop-2.6.0与eclipse集成

1. 在所有 Hadoop 进程运行的地方创建用户“hdfs”。
2. Hadoop 安装到目录“/opt/hadoop”。
3. Eclipse 安装到目录“/opt/eclipse”。

第 1 步:下载 hadoop-eclipse-plugin 2.6.0 jar

第 2 步:将用于 eclipse 的 Map-Reduce 插件复制到您的 eclipse 文件夹的插件目录中 – sudo cp /home/hdfs/Downloads/hadoop-eclipse-plugin-2.6.0.jar /opt/eclipse/plugins/使用命令重新启动 eclipse – /opt/eclipse/eclipse -vm /usr/local/jdk1.8.0_05/bin/java -vmargs -Xmx1024m如果 elcipse 由于 X11 转发问题而没有出现，请在切换到“hdfs”时尝试使用“sux”而不是“su”。

第 3 步:启动 eclipse $ECLIPSE_HOME/eclipse

第四步:在Eclipse菜单中点击Window --> Open Perspective --> Others --> MapReduce

第 5 步:在底部的 MapReduce 图标中单击以添加新的 Hadoop 位置

第六步:输入MapReduce & HDFS运行端口 回想一下，$HADOOP_HOME/conf/mapred-site.xml中指定的MapReduce端口(9001)为了召回，在 $HADOOP_HOME/conf/core-site.xml 中指定的 HDFS 端口 (9000)输入Hadoop用户名

第 7 步:添加 Hadoop 位置后，将在 Eclipse Project Explorer 窗口中看到/显示 DFS 位置(Windows-->Show View-->Project Explorer)

第 8 步:添加 Hadoop 后，DFS 位置将在 Project Explorer 窗口中看到/显示，

第9步:右击DFS位置，点击连接

第十步:连接成功后，会显示所有DFS文件夹。

第 11 步:您可以创建目录，将文件上传到 HDFS 位置，通过右键单击列出的任何目录将文件下载到本地。