java - Wordcount 示例 hadoop

Question

我是 Hadoop 的新手，正在尝试通过他们网站上提供的示例来探索它。所以这听起来像是一个非常基本的问题。

在 Eclipse IDE 中，我简单地创建了一个 java 项目，导入了必要的 hadoop jar 和核心 jar。然后我运行了一个可下载的 WordCount 示例，它运行成功。

但是，我没有设置任何 Hadoop 安装或单节点集群。

因此，即使我的系统中没有配置 hadoop，我也无法弄清楚该作业如何运行。

我最初的理解是我需要按照类似 Running Hadoop on Ubuntu Linux 的方式安装 hadoop开始，但显然没有必要。为什么？

Answer 1

这可能发生在作业仅检测本地文件系统的情况下，它使用 LocalFileSystem与本地文件系统中的文件进行交互的 API。

请引用以下链接， Unit testing hadoop hdfs writings with MiniDFSCluster

这是对我们在开发环境中开发的 mapreduce/hdfs 代码进行单元测试的选项之一。当您在 hadoop clsuter 中部署相同的代码时，输​​入文件将位于 HDFS 位置。