java - 找不到 Hadoop Java 类

Question

线程“main”中的异常 java.lang.ClassNotFoundException:WordCount-> 很多答案都与这个问题相关，看来我肯定又错过了一个小点，这花了我几个小时才弄清楚。
我会尽力尽可能清楚地说明路径、代码本身以及我尝试过但不起作用的其他可能的解决方案。
我有点确定我正确配置了 Hadoop，因为直到最后一个阶段一切都正常。
但仍然发布详细信息:

1. 环境变量和路径

>

HADOOP VARIABLES START
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export HADOOP_INSTALL=/usr/local/hadoop
export HADOOP_CLASSPATH=/usr/lib/jvm/java-8-oracle/lib/tools.jar
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
#export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
#export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP VARIABLES END

类本身:

package com.cloud.hw03;

/**
 * Hello world!
 *
 */
import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

  public static class TokenizerMapper
       extends Mapper<Object, Text, Text, IntWritable>{

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }

  public static class IntSumReducer
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values,
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "wordcount");
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    job.setJarByClass(WordCount.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

我做了什么编译和运行:

1. 在与我的 WordCount maven 项目 (eclipse-workspace) 相同的文件夹中创建了 jar 文件

   $hadoop com.sun.tools.javac.Main WordCount.java

   $ jar cf WordCount.jar WordCount*.class

2. 运行程序:(我已经在 hdfs 中创建了一个目录并复制了输入输出文件)

hadoop jar WordCount.jar WordCount/input/inputfile01/input/outputfile01

结果是:线程“main”java.lang.ClassNotFoundException中出现异常:WordCount

由于我与 WordCount.class 位于同一目录中，并且在同一目录中创建了 jar 文件，因此我没有指定 WordCount 的完整路径，因此我在此目录中运行上述第二个命令:

我已经添加了 job.setJarByClass(WordCount.class);代码所以没有帮助。我将不胜感激您花时间回答!
我确信我又在做一些意想不到的事情，并且 4 小时都无法弄清楚

Answer 1

Hadoop站点上的Wordcount示例代码不使用包

既然你确实有一个，你就可以运行完全合格的类(class)。与常规 Java 应用程序完全相同

hadoop jar WordCount.jar com.cloud.hw03.WordCount

此外，如果您实际上有一个 Maven 项目，那么 hadoop com.sun.tools.javac.Main 是不正确的。实际上，您可以使用 Maven 来编译和创建包含所有类的 JAR，而不仅仅是 WordCount* 文件

例如，来自包含 pom.xml 的文件夹

mvn package 

否则，您需要位于父目录中

hadoop com.sun.tools.javac.Main ./com/cloud/hw03/WordCount.java

并从该目录运行 jar cf 命令