hadoop - 错误安全.UserGroupInformation : PriviledgedActionException in Hadoop 2. 2

Question

我正在使用 Hadoop 2.2.0。 hadoop-mapreduce-examples-2.2.0.jar 在 hdfs 上运行良好。

我在 eclipse 中制作了一个 wordcount 程序并使用 maven 添加 jar 并运行这个 jar:

ubuntu@ubuntu-linux:~$ yarn jar Sample-0.0.1-SNAPSHOT.jar com.vij.Sample.WordCount /user/ubuntu/wordcount/input/vij.txt user/ubuntu/wordcount/output

它给出以下错误:15/02/17 13:09:09 WARN util.NativeCodeLoader:无法加载
适用于您平台的 native hadoop 库...使用内置 java 类
适用时
15/02/17 13:09:10 INFO client.RMProxy:连接到 ResourceManager
在/0.0.0.0:8032
15/02/17 13:09:11 安全性错误。用户组信息:
PriviledgedActionException as:ubuntu (auth:SIMPLE)
原因:org.apache.hadoop.mapred.FileAlreadyExistsException:输出
目录 hdfs://localhost:54310/user/ubuntu/wordcount/input/vij.txt
已经存在
线程“main”中的异常
org.apache.hadoop.mapred.FileAlreadyExistsException:输出目录
hdfs://localhost:54310/user/ubuntu/wordcount/input/vij.txt 已经
存在
在 org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146)
在 org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:456)
在 org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:342)
在 org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)
在 org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)
在 java.security.AccessController.doPrivileged( native 方法)
在 javax.security.auth.Subject.doAs(Subject.java:415)
在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
在 org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)
在 com.vij.Sample.WordCount.main(WordCount.java:33)
在 sun.reflect.NativeMethodAccessorImpl.invoke0( native 方法)
在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
在 java.lang.reflect.Method.invoke(Method.java:606)
在 org.apache.hadoop.util.RunJar.main(RunJar.java:212)

jar 在我的本地系统上。输入和输出路径都在 hdfs 上。 hdfs 上的输出路径上不存在输出目录。

请指教。谢谢。

Answer 1

实际上错误是:

ERROR security.UserGroupInformation:PriviledgedActionException as:ubuntu (auth:SIMPLE)
cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output
directory hdfs://localhost:54310/user/ubuntu/wordcount/input/vij.txt
already exists

删除已经存在的输出文件“vij.txt”，或者输出到不同的文件。

或尝试执行以下步骤:

从 $HADOOP_HOME 下的此链接下载并解压缩 WordCount 源代码。

  $ cd $HADOOP_HOME
  $ wget http://salsahpc.indiana.edu/tutorial/source_code/Hadoop-WordCount.zip
  $ unzip Hadoop-WordCount.zip

然后，将输入文件(任何文本格式文件)上传到 Hadoop 分布式文件系统 (HDFS):

$bin/hadoop fs -put $HADOOP_HOME/Hadoop-WordCount/input/ input
$bin/hadoop fs -ls input

这里，$HADOOP_HOME/Hadoop-WordCount/input/ 是存储程序输入的本地目录。第二个“输入”表示 HDFS 上的远程目标目录。

将输入上传到 HDFS 后，使用以下命令运行 WordCount 程序。我们假设您已经编译了字数统计程序。

$ bin/hadoop jar $HADOOP_HOME/Hadoop-WordCount/wordcount.jar WordCount input output

如果Hadoop运行正常，会打印类似如下的hadoop运行信息:

WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. 
Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.


    11/11/02 18:34:46 INFO input.FileInputFormat: Total input paths to process : 1 
    11/11/02 18:34:46 INFO mapred.JobClient: Running job: job_201111021738_0001 11/11/02 18:34:47 INFO mapred.JobClient: map 0% reduce 0% 
    11/11/02 18:35:01 INFO mapred.JobClient: map 100% reduce 0% 
    11/11/02 18:35:13 INFO mapred.JobClient: map 100% reduce 100% 
    11/11/02 18:35:18 INFO mapred.JobClient: Job complete: job_201111021738_0001 11/11/02 18:35:18 INFO mapred.JobClient: Counters: 25 
...