hadoop - 从 hdfs 与本地目录读取文件

Question

我是 hadoop 的初学者。我有两个疑惑

1) 如何访问存储在hdfs中的文件？它与在 java.io 中使用 FileReader 并提供本地路径相同还是其他？

2) 我创建了一个文件夹，我在其中复制了要存储在 hdfs 中的文件和 mapreduce 程序的 jar 文件。当我在任何目录中运行命令时

${HADOOP_HOME}/bin/hadoop dfs -ls

它只显示当前目录中的所有文件。那么这是否意味着所有文件都是在我没有明确添加的情况下添加的？

Answer 1

1. 是的，这几乎是一样的。阅读this post从 HDFS 读取文件。

2. 您应该记住，HDFS 不同于您的本地文件系统。使用 hadoop dfs，您可以访问 HDFS，而不是本地文件系统。因此，hadoop dfs -ls/path/in/HDFS 显示了 /path/in/HDFS 目录的内容，而不是本地目录。这就是为什么无论您从何处运行它都是一样的。

如果你想从 HDFS“上传”/“下载”文件，你应该使用逗号:

hadoop dfs -copyFromLocal/local/path/path/in/HDFS 和

hadoop dfs -copyToLocal/path/in/HDFS/local/path，分别。