csv - cloudera quick start 使用终端加载 csv 表 hdfs

Question

我对这一切还很陌生，因为我才上第二个学期，我只需要帮助来理解我需要执行的命令。我正在尝试使用终端将本地 csv 文件加载到 cloudera 上的 hdfs。我必须使用这些数据并与 Pig 一起完成一项任务。我已经尝试了所有方法，但它仍然给我 'no such file or directory'。我关闭了安全模式，检查了目录，甚至确保可以读取文件。以下是我尝试加载数据的命令:

hadoop fs -copyFromLocal 2008.csv
hdfs dfs -copyFromLocal 2008.csv
hdfs dfs -copyFromLocal 2008.csv /user/root
hdfs dfs -copyFromLocal 2008.csv /home/cloudera/Desktop

什么都没有用，一直给我

'2008.csv' no such file or directory

.我能做些什么来解决这个问题？非常感谢你。

Answer 1

I have to use that data and work with Pig for an assignment

您可以在没有 HDFS 的情况下运行 Pig。

pig -x local

I have tried everything and it still gives me 'no such file or directory'

好吧，这个错误不是来自 HDFS，它似乎是来自您的本地 shell。

ls显示当前目录中可用于 -copyFromLocal 的文件或 -put在没有绝对路径的情况下工作。

为了完全保证您正在复制的内容以及到哪里，请在两个参数中使用完整路径。如果使用这两个标志，第二条路径始终是 HDFS。

试试这个

hadoop fs -mkdir -p  /user/cloudera # just in case 
hadoop fs -copyFromLocal ./2008.csv /user/cloudera/

甚至

hadoop fs -copyFromLocal /home/cloudera/Desktop/2008.csv /user/cloudera/

我认为您遇到的问题是 /user/root不正确，除非您以 root 的形式运行命令用户，/home/cloudera/Desktop 也不是因为 HDFS 没有 Desktop 的概念.

没有第二条路径的默认行为是

hadoop fs -copyFromLocal <file> /user/$(whoami)/

(如果没有尾部斜线或预先存在的目录，它会按字面意思将 <file> 复制为文件，这在某些情况下可能是意外的，例如，当尝试复制时一个文件到用户目录，但该目录还不存在)