- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
内容如下:
javac -cp classpath -d wordcount_classes WordCount.java
where classpath is:
CDH4 - /usr/lib/hadoop/*:/usr/lib/hadoop/client-0.20/*
CDH3 - /usr/lib/hadoop-0.20/hadoop-0.20.2-cdh3u4-core.jar
我已经下载了“cloudera-quickstart-demo-vm-4.2.0-vmware”。以用户 cloudera 运行。
[cloudera@localhost wordcount]$ javac -cp /usr/lib/hadoop/*:/usr/lib/hadoop/client-0.20/* -d wordcount_classes WordCount.java
incorrect classpath: /usr/lib/hadoop/*
incorrect classpath: /usr/lib/hadoop/client-0.20/*
----------
1. ERROR in WordCount.java (at line 8)
import org.apache.hadoop.fs.Path;
^^^^^^^^^^
检查cp文件夹时:.
[cloudera@localhost wordcount]$ ls -l /usr/lib/hadoop
total 3500
drwxr-xr-x. 2 root root 4096 Apr 22 14:37 bin
drwxr-xr-x. 2 root root 4096 Apr 22 14:33 client
drwxr-xr-x. 2 root root 4096 Apr 22 14:33 client-0.20
drwxr-xr-x. 2 root root 4096 Apr 22 14:36 cloudera
drwxr-xr-x. 2 root root 4096 Apr 22 14:30 etc
-rw-r--r--. 1 root root 16536 Feb 15 14:24 hadoop-annotations-2.0.0-cdh4.2.0.jar
lrwxrwxrwx. 1 root root 37 Apr 22 14:30 hadoop-annotations.jar -> hadoop-annotations-2.0.0-cdh4.2.0.jar
-rw-r--r--. 1 root root 46855 Feb 15 14:24 hadoop-auth-2.0.0-cdh4.2.0.jar
lrwxrwxrwx. 1 root root 30 Apr 22 14:30 hadoop-auth.jar -> hadoop-auth-2.0.0-cdh4.2.0.jar
-rw-r--r--. 1 root root 2266171 Feb 15 14:24 hadoop-common-2.0.0-cdh4.2.0.jar
-rw-r--r--. 1 root root 1212163 Feb 15 14:24 hadoop-common-2.0.0-cdh4.2.0-tests.jar
lrwxrwxrwx. 1 root root 32 Apr 22 14:30 hadoop-common.jar -> hadoop-common-2.0.0-cdh4.2.0.jar
drwxr-xr-x. 3 root root 4096 Apr 22 14:36 lib
drwxr-xr-x. 2 root root 4096 Apr 22 14:33 libexec
drwxr-xr-x. 2 root root 4096 Apr 22 14:31 sbin
我做错了什么?这直接来自安装了 CDH4 的 Cloudera Quickstart VM。遵循“Hadoop 教程”。它甚至说
**Prerequisites**
Ensure that CDH is installed, configured, and running. The easiest way to get going quickly is to use a CDH4 QuickStart VM
这正是我运行本教程的地方 - CDH4 QuickStart VM。
我做错了什么?
*更新版本信息;
[cloudera@localhost cloudera]$ cat cdh_version.properties
# Autogenerated build properties
version=2.0.0-cdh4.2.0
git.hash=8bce4bd28a464e0a92950c50ba01a9deb1d85686
cloudera.hash=8bce4bd28a464e0a92950c50ba01a9deb1d85686
cloudera.base-branch=cdh4-base-2.0.0
cloudera.build-branch=cdh4-2.0.0_4.2.0
cloudera.pkg.version=2.0.0+922
cloudera.pkg.release=1.cdh4.2.0.p0.12
cloudera.cdh.release=cdh4.2.0
cloudera.build.time=2013.02.15-18:39:29GMT
cloudera.pkg.name=hadoop
类路径环境:
[cloudera@localhost bin]$ echo $CLASSPATH
:/usr/lib/hadoop/*:/usr/lib/hadoop/client-0.20/*
编辑!!所以我想我明白了。这可能是 Cloudera CD4 VM 快速启动 VM 的一个新问题:来自:This Post昨天约会另一个人遇到了完全相同的问题。似乎 javac 程序不接受导出路径上的通配符。我必须执行以下操作:
export CLASSPATH=/usr/lib/hadoop/client-0.20/\*:/usr/lib/hadoop/\*
然后javac -d [没有 -cp 覆盖]
javac -d wordcount_classes/ WordCount.java
只会出现警告。
我想知道 Cloudera 是否必须修复他们的 quickstart VM。
最佳答案
如果您希望 javac 找到它们,您需要设置一个包含/usr/lib/hadoop 中的这些目录的类路径变量集。您可以按如下方式设置此环境变量
$: export CLASSPATH=$CLASSPATH:/usr/lib/hadoop/*:/usr/lib/hadoop/client-0.20/*
javac 现在将找到那些库。如果您对类路径变量有任何其他提示,您可以使用冒号 (:) 作为分隔符将它们附加到上面的行
您可以将其包含在 bash 脚本中,但最佳做法是在运行时设置正确的环境变量,然后您就会得到您想要的。在这种情况下,它可能是字数统计或 CDH4 环境正在设置它,但最好自己设置。
关于hadoop - Cloudera 的 CDH4 WordCount hadoop 教程 - 问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16556182/
我用eclipse调试hadoop,出现错误,如何解决这个问题 log4j:WARN No appenders could be found for logger (org.apache.hadoop
见下面的代码: unordered_map wordCount; for(string word: words) ++wordCount[word]; 问题: 当wordCount 中不存在w
我正在尝试从这里开始学习 GCP Cloud Dataflow 的“使用 Java 快速入门”https://cloud.google.com/dataflow/docs/quickstarts/qu
我尝试在代码中构建和调试扩展。 我从https://github.com/microsoft/vscode-wordcount下载了字数统计的样本. 当我单击 F5 时,未生成 ./out 文件夹,并
我是 hadoop 的新手。我按照 maichel-noll 教程在单节点中设置 hadoop。我尝试运行 WordCount 程序。这是我使用的代码: import java.io.IOExcept
我是hadoop编程新手。我正在使用eclipse进行hadoop开发。我通过java buildpath添加了所有jar文件,当我运行我的程序时它没有运行并给出这个错误,所以请帮助我。如何解决错误?
我想使用eclipse调试wordcount,因为我想查看作业如何在JobTracker中运行。但是hadoop使用Proxy,我不知道该作业如何在JobTracker中运行的具体过程。我应该如何调试
我正在尝试运行保证消息处理的 WordCount 示例。 只有一个喷口 WSpout - 发出带有 msgID 的随机句子。 和两个 bolt SplitSentence - 在单词中拆分句子并使用锚
我正在做一个类项目,该项目计算文本文件中的单词、行、字符和段落的总数。到目前为止,就文字而言,它是有效的,但我的字符数似乎减少了 3 个,并且该段落似乎正在计算两个额外的空行,我得到的是 5 个而不是
我是 hadoop 的新手,正在运行一些示例以更加熟悉它。我运行了 wordcount,当我去检查输出时 hadoop fs -cat outt 我得到了 3 个目录,而不是通常名为 outt/par
有谁知道如何解决这个错误?我了解到我可以在 fileutils.setPermission 中进行编辑并使用 checkReturnValue 删除行,但我不知道如何操作。 13/03/10 13:0
我正在尝试运行一个程序,按照此链接中给出的步骤来计算单词的数量及其频率:http://developer.yahoo.com/hadoop/tutorial/module3.html 我加载了一个名为
每当尝试在Hadoop系统中运行Reducer python程序时,都会出现此错误。 Mapper程序可以完美运行。与我的Mapper程序具有相同的权限。是否存在语法错误? 追溯(最近一次通话): 在
我在获取每个文件的单词出现总数的分割时遇到了问题。 例如,我有四个文本文件(t1、t2、t3、t4)。单词 w1 在文件 t2 中出现了两次,在 t4 中出现了一次,总共出现了 3 次。 我想在输出文
我试图使用eclipse在hadoop多节点群集上运行wordcount java程序(该程序在单节点群集上工作正常,但在多节点上无法运行)。我正在返回关注信息 INFO ipc.Client: Re
我正在尝试这个java代码来计算mapreduce中的字数,在完成reduce方法后,我想显示出现最多次数的唯一单词。 为此,我创建了一些名为 myoutput、mykey 和completeSum
mark@maestro1:/usr/lib/hadoop/wordcount_classes$ javac -classpath /usr/lib/hadoop/hadoop-common-2.0.
引用基本的WordCount例子:https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-cli
成功创建 hadoop 环境后,当我要在版本 0.19.1 的 hadoop 中运行这个 wordcount 示例时,它给我这样的错误,我该如何解决 11/12/30 06:46:13 INFO ma
我在我的 mac 上的单个节点上运行 WordCount 并且它工作,所以我制作了另一个 MapReduce 应用程序并运行它,但它卡在 map 10% reduce 0% 并且有时在 map 0%
我是一名优秀的程序员,十分优秀!