gpt4 book ai didi

java - 了解Hadoop程序入口点和问题

转载 作者:行者123 更新时间:2023-12-02 21:47:28 25 4
gpt4 key购买 nike

背景:
我是新的Hadoop,正在通过Youtube视频学习东西。我出于实际目的使用Cloudera QuickStart VM。运行Cloudera提供的WordCount示例“hadoop-mapreduce-examples-2.0.0-cdh4.4.0.jar”时,我找不到该程序的入口点。

这是源代码链接,
http://grepcode.com/file/repository.cloudera.com/content/repositories/releases/org.apache.hadoop/hadoop-mapreduce-examples/2.0.0-cdh4.0.0/org/apache/hadoop/examples/WordCount.java?av=f

问题,
1)WordCount程序的入口点是什么?流程是什么?

我确定它不是WordCount.java的主要方法,因为当我使用WordCount作为程序名称时出现以下提到的错误。
[cloudera @ localhost hadoop-mapreduce] $ hadoop jar hadoop-mapreduce-examples-2.0.0-cdh4.4.0.jar WordCount / user / cloudera / harsha / input / user / cloudera / harsha / output
选择了未知程序“WordCount”。
{此处有更多计划}
teravalidate:检查terasort的结果
wordcount:一个map / reduce程序,用于对输入文件中的单词进行计数。


2)如何设置CLASSPATH?

使用以下语句,程序可以正常运行。我们如何引用所需的库?
[cloudera @ localhost hadoop-mapreduce] $ hadoop jar hadoop-mapreduce-examples-2.0.0-cdh4.4.0.jar wordCount / user / cloudera / harsha / input / user / cloudera / harsha / output

谢谢,
哈莎

最佳答案

您可以使用以下命令设置CLASSPATH:

javac -classpath /usr/lib/hadoop/hadoop-common-2.0.0-cdh4.4.0.jar:/usr/lib/hadoop/client/hadoop-mapreduce-client-core-2.0.0-cdh4.4.0.jar -d wordcount_classes WordCount.java

关于java - 了解Hadoop程序入口点和问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23947675/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com