gpt4 book ai didi

hadoop - 使用 jar 命令执行 WordCount 程序时 hadoop 中出现 "No such file or directory"

转载 作者:可可西里 更新时间:2023-11-01 16:37:25 26 4
gpt4 key购买 nike

我是 Hadoop 的新手,正在尝试执行 WordCount 问题。

到目前为止我所做的事情 -

引用以下链接设置 Hadoop 单节点集群。 http://www.bogotobogo.com/Hadoop/BigData_hadoop_Install_on_ubuntu_single_node_cluster.php

引用下面的链接写出字数统计问题 https://kishorer.in/2014/10/22/running-a-wordcount-mapreduce-example-in-hadoop-2-4-1-single-node-cluster-in-ubuntu-14-04-64-bit/

问题是当我执行最后一行来运行程序时 -

hadoop jar wordcount.jar/usr/local/hadoop/input/usr/local/hadoop/output

以下是我得到的错误 - enter image description here该目录似乎存在 enter image description here该文件也存在于包含内容的目录中 enter image description here

最后,附带说明一下,我还在 jar 命令中尝试了以下目录结构。 enter image description here

没用! :/

如果有人能在这里指导我,我将不胜感激!

问候,保罗·阿尔文

最佳答案

您的第一个图像使用来自本地 Hadoop 安装目录/usr 的输入

如果您想在本地文件系统上使用该数据,您可以指定 file:///usr/...

否则,如果您正在运行伪分布式模式,HDFS 已经设置,并且 /usr 不存在于 HDFS 中,除非您在那里明确创建它。

根据堆栈跟踪,我认为错误来自 /app/hadoop/ 暂存目录路径不存在,或者它的权限不允许您当前的用户针对该路径运行命令

建议:Hortonworks 和 Cloudera 提供预构建的 VirtualBox 图像和大量教程资源。大多数公司都会从其中一家供应商那里获得 Hadoop,因此在我看来,最好熟悉一下,而不是自己从头开始安装 Hadoop

关于hadoop - 使用 jar 命令执行 WordCount 程序时 hadoop 中出现 "No such file or directory",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49241785/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com