java - 如何设置 HADOOP_CLASSPATH 以将本地文件系统与本地作业运行器一起使用？

Question

如何设置 HADOOP_CLASSPATH 以将本地文件系统与本地作业运行器一起使用？如何设置本地目录的输入输出路径？

当我尝试使用以下命令运行时，映射器和化简器类会出现 ClassNotFoundException。

hadoop WordCount input/sample.txt output

当前值为:

:hadoop 类路径

/usr/local/hadoop/hadoop-3.2.1/etc/hadoop:/usr/local/hadoop/hadoop-3.2.1/share/hadoop/common/lib/*:/usr/local/hadoop/hadoop-3.2.1/share/hadoop/common/*:/usr/local/hadoop/hadoop-3.2.1/share/hadoop/hdfs:/usr/local/hadoop/hadoop-3.2.1/share/hadoop/hdfs/lib/*:/usr/local/hadoop/hadoop-3.2.1/share/hadoop/hdfs/*:/usr/local/hadoop/hadoop-3.2.1/share/hadoop/mapreduce/lib/*:/usr/local/hadoop/hadoop-3.2.1/share/hadoop/mapreduce/*:/usr/local/hadoop/hadoop-3.2.1/share/hadoop/yarn:/usr/local/hadoop/hadoop-3.2.1/share/hadoop/yarn/lib/*:/usr/local/hadoop/hadoop-3.2.1/share/hadoop/yarn/*:/usr/local/hadoop/hadoop-3.2.1/等/hadoop/usr/local/hadoop/hadoop-3.2.1/share/hadoop/common/*.jar

版本:
Apache hadoop-3.2.1 ,
openjdk 11.0.5。

请帮忙。这对于调试很有用。提前致谢。

Answer 1

我相信如果你有 FileNotFound 异常，但你的类路径看起来很好，所以我很难看到你会得到 ClassNotFound 异常

尽管如此，这条路似乎是错误的/usr/local/hadoop/hadoop-3.2.1/etc/hadoop/usr/local/hadoop/hadoop-3.2.1/share/hadoop/common/*.jar 。

我建议移动hadoop-3.2.1下的所有文件进入/usr/local/hadoop ，或者至少重命名 hadoop-3.2.1目录为 /usr/local/hadoop/3.2.1/

默认情况下，Hadoop 作业使用 file://路径作为 fs.defaultFS (在 core-site.xml 中定义)

否则，如果您已将其更改为使用 hdfs:// ，那么你仍然可以像这样使用本地文件

hadoop fs -ls file://

要运行作业，我建议使用 yarn jar ，不是hadoop <name> 。并且您需要将 Java 应用程序隐藏到 uber-jar 中，或者使用现有的 hadoop-examples JAR 来运行 WordCount