gpt4 book ai didi

Hadoop Wordcount 程序编译错误

转载 作者:行者123 更新时间:2023-12-02 22:07:57 27 4
gpt4 key购买 nike

我是hadoop编程新手。我正在使用eclipse进行hadoop开发。我通过java buildpath添加了所有jar文件,当我运行我的程序时它没有运行并给出这个错误,所以请帮助我。如何解决错误?

14/05/31 23:33:10 WARN util.NativeCodeLoader:无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类
14/05/31 23:33:10 WARN mapred.JobClient:没有设置作业 jar 文件。可能找不到用户类。请参阅 JobConf(Class) 或 JobConf#setJar(String)。
14/05/31 23:33:10 INFO mapred.JobClient:清理暂存区文件:/tmp/hadoop-deep/mapred/staging/deep689130586/.staging/job_local689130586_0001
14/05/31 23:33:10 错误 security.UserGroupInformation: PriviledgedActionException as:deep cause:org.apache.hadoop.mapred.FileAlreadyExistsException: 输出目录文件:/已经存在
线程“主”org.apache.hadoop.mapred.FileAlreadyExistsException 中的异常:输出目录文件:/已存在
在 org.apache.hadoop.mapred.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:121)
在 org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:975)
在 org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:936)
在 java.security.AccessController.doPrivileged( native 方法)
在 javax.security.auth.Subject.doAs(未知来源)
在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
在 org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:936)
在 org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:910)
在 org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1353)
在 hadoop1.MyJob.run(MyJob.java:57)
在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
在 hadoop1.MyJob.main(MyJob.java:63)

最佳答案

native 库无法加载。

这可能是因为您使用的是 64 位机器,但 hadoop 发行版适用于 32 位。您可以按照这里的步骤 http://www.ercoppa.org/Linux-Compile-Hadoop-220-fix-Unable-to-load-native-hadoop-library.htm将 hadoop 重新编译为 64 位,然后替换 native 库。

关于Hadoop Wordcount 程序编译错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23977379/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com