java - Eclipse 如何运行 map reduce 作业？

Question

我关注了一篇文章，并设法在 eclipse 中运行了一个 mapreduce 程序。

下面是pom.xml文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>



  <groupId>virtusa</groupId>
  <artifactId>fazlan</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>fazlan</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>

    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>


    <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.2.0</version>
    </dependency>

  </dependencies>
</project>

Maven 安装必要的 jar，当我将程序作为 java 应用程序运行时，输出按预期保存。

据我所知，Hadoop 可以在 3 种模式下运行。

1)Single node 
2)psuedo-distributed mode 
3)distributed mode

我假设 eclipse 在单节点配置中运行程序。

如果我们要单独安装 hadoop，我们将不得不编辑一些 xml 文件来说明我们需要特定的配置(我使用的是 Hadoop 2.2，即使对于单节点配置，我假设它需要在 xml 的 xome 中进行一些修改文件)。

在上面的例子中，我没有更改任何 xml 文件来说明这一点。eclipse 是如何只用 jars 解决的。

此外，此方法是否依赖于 JAVA_HOME 或 PATH 以外的任何环境变量？(Eclipse 是否在我的机器中搜索任何 hadoop 安装)

Answer 1

正如您提到的，hadoop 可以通过 3 种方式运行

Local mode (Only for test purpose no mapreduce daemons needed)
Pseudo distributed mode(1 node cluster)
Distributed mode(Multinode cluster)

在本地模式下，无需运行任何 hadoop 守护进程(mr1 中的 jobtracker、taskters)。这通常用于 eclipse 的测试目的但是在伪分布式和分布式模式的情况下，Mapreduce 守护进程应该运行。当您从任何客户端节点以伪/分布式模式运行 mapreduce 作业时，有必要在 mapred-site.xml 中指定 jobtracker 节点和端口号(mapred.job.tracker)，核心站点中的 HDFS 名称节点主机:端口。 xml

从 eclipse 执行将在本地模式下，没有守护进程将运行(不会连接到任何守护进程)因此提交作业时无需配置任何 xml 文件