gpt4 book ai didi

java - windows下运行hadoop作业

转载 作者:行者123 更新时间:2023-12-01 15:03:58 25 4
gpt4 key购买 nike

我已经在windows下成功安装hadoop了。 (Namenodes 和 jobtrackers 正常启动)

现在我正在尝试运行一些示例作业:

运行以下命令(在 cygwin 中)

hadoop jar $HADOOP_INSTALL/hadoop-0.20.2-examples.jar randomwriter random-data

抛出

   Exception in thread "main" java.io.IOException: Error opening job jar: /cygdrive   /c/cygwin/home/Username/hadoop/hadoop-0.20.2-examples.jar
at org.apache.hadoop.util.RunJar.main(RunJar.java:90)
Caused by: java.io.FileNotFoundException: \cygdrive\c\cygwin\home\Username\hadoop\hadoop-0.20.2-examples.jar (The system cannot find the path specified)
at java.util.zip.ZipFile.open(Native Method)
at java.util.zip.ZipFile.<init>(ZipFile.java:127)
at java.util.jar.JarFile.<init>(JarFile.java:135)
at java.util.jar.JarFile.<init>(JarFile.java:72)
at org.apache.hadoop.util.RunJar.main(RunJar.java:88)

这可能是由于 cygwin 无法识别 CLASSPATH 而引发的。

描述了此问题的解决方案(?)here

所以,一般来说我必须执行java程序

java -classpath `cygpath -wp $CLASSPATH` [arguments]

现在,鉴于此,我应该如何结合最后一个命令执行上述 hadoop 命令?

最佳答案

我意识到这篇文章已经有一年多了,但没有标记答案。您非常接近...这应该可以工作,而无需编辑任何配置。

hadoop jar `cygpath -wp $HADOOP_INSTALL/hadoop-0.20.2-examples.jar` randomwriter random-data

关于java - windows下运行hadoop作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13233043/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com