gpt4 book ai didi

hadoop - Cloudera 的 CDH4 WordCount hadoop 教程 - 问题

转载 作者:可可西里 更新时间:2023-11-01 14:31:57 25 4
gpt4 key购买 nike

我正在学习本教程: http://www.cloudera.com/content/cloudera-content/cloudera-docs/HadoopTutorial/CDH4/Hadoop-Tutorial/ht_topic_5_2.html

内容如下:

javac -cp classpath -d wordcount_classes WordCount.java

where classpath is:

CDH4 - /usr/lib/hadoop/*:/usr/lib/hadoop/client-0.20/*
CDH3 - /usr/lib/hadoop-0.20/hadoop-0.20.2-cdh3u4-core.jar

我已经下载了“cloudera-quickstart-demo-vm-4.2.0-vmware”。以用户 cloudera 运行。

    [cloudera@localhost wordcount]$ javac -cp /usr/lib/hadoop/*:/usr/lib/hadoop/client-0.20/* -d wordcount_classes WordCount.java
incorrect classpath: /usr/lib/hadoop/*
incorrect classpath: /usr/lib/hadoop/client-0.20/*
----------
1. ERROR in WordCount.java (at line 8)
import org.apache.hadoop.fs.Path;
^^^^^^^^^^

检查cp文件夹时:.

[cloudera@localhost wordcount]$ ls -l /usr/lib/hadoop
total 3500
drwxr-xr-x. 2 root root 4096 Apr 22 14:37 bin
drwxr-xr-x. 2 root root 4096 Apr 22 14:33 client
drwxr-xr-x. 2 root root 4096 Apr 22 14:33 client-0.20
drwxr-xr-x. 2 root root 4096 Apr 22 14:36 cloudera
drwxr-xr-x. 2 root root 4096 Apr 22 14:30 etc
-rw-r--r--. 1 root root 16536 Feb 15 14:24 hadoop-annotations-2.0.0-cdh4.2.0.jar
lrwxrwxrwx. 1 root root 37 Apr 22 14:30 hadoop-annotations.jar -> hadoop-annotations-2.0.0-cdh4.2.0.jar
-rw-r--r--. 1 root root 46855 Feb 15 14:24 hadoop-auth-2.0.0-cdh4.2.0.jar
lrwxrwxrwx. 1 root root 30 Apr 22 14:30 hadoop-auth.jar -> hadoop-auth-2.0.0-cdh4.2.0.jar
-rw-r--r--. 1 root root 2266171 Feb 15 14:24 hadoop-common-2.0.0-cdh4.2.0.jar
-rw-r--r--. 1 root root 1212163 Feb 15 14:24 hadoop-common-2.0.0-cdh4.2.0-tests.jar
lrwxrwxrwx. 1 root root 32 Apr 22 14:30 hadoop-common.jar -> hadoop-common-2.0.0-cdh4.2.0.jar
drwxr-xr-x. 3 root root 4096 Apr 22 14:36 lib
drwxr-xr-x. 2 root root 4096 Apr 22 14:33 libexec
drwxr-xr-x. 2 root root 4096 Apr 22 14:31 sbin

我做错了什么?这直接来自安装了 CDH4 的 Cloudera Quickstart VM。遵循“Hadoop 教程”。它甚至说

**Prerequisites**

Ensure that CDH is installed, configured, and running. The easiest way to get going quickly is to use a CDH4 QuickStart VM

这正是我运行本教程的地方 - CDH4 QuickStart VM。

我做错了什么?

*更新版本信息;

[cloudera@localhost cloudera]$ cat cdh_version.properties

# Autogenerated build properties
version=2.0.0-cdh4.2.0
git.hash=8bce4bd28a464e0a92950c50ba01a9deb1d85686
cloudera.hash=8bce4bd28a464e0a92950c50ba01a9deb1d85686
cloudera.base-branch=cdh4-base-2.0.0
cloudera.build-branch=cdh4-2.0.0_4.2.0
cloudera.pkg.version=2.0.0+922
cloudera.pkg.release=1.cdh4.2.0.p0.12
cloudera.cdh.release=cdh4.2.0
cloudera.build.time=2013.02.15-18:39:29GMT

cloudera.pkg.name=hadoop

类路径环境:

[cloudera@localhost bin]$ echo $CLASSPATH
:/usr/lib/hadoop/*:/usr/lib/hadoop/client-0.20/*

编辑!!所以我想我明白了。这可能是 Cloudera CD4 VM 快速启动 VM 的一个新问题:来自:This Post昨天约会另一个人遇到了完全相同的问题。似乎 javac 程序不接受导出路径上的通配符。我必须执行以下操作:

export CLASSPATH=/usr/lib/hadoop/client-0.20/\*:/usr/lib/hadoop/\*

然后javac -d [没有 -cp 覆盖]

javac -d wordcount_classes/ WordCount.java

只会出现警告。

我想知道 Cloudera 是否必须修复他们的 quickstart VM。

最佳答案

如果您希望 javac 找到它们,您需要设置一个包含/usr/lib/hadoop 中的这些目录的类路径变量集。您可以按如下方式设置此环境变量

$: export CLASSPATH=$CLASSPATH:/usr/lib/hadoop/*:/usr/lib/hadoop/client-0.20/*

javac 现在将找到那些库。如果您对类路径变量有任何其他提示,您可以使用冒号 (:) 作为分隔符将它们附加到上面的行

您可以将其包含在 bash 脚本中,但最佳做法是在运行时设置正确的环境变量,然后您就会得到您想要的。在这种情况下,它可能是字数统计或 CDH4 环境正在设置它,但最好自己设置。

关于hadoop - Cloudera 的 CDH4 WordCount hadoop 教程 - 问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16556182/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com