Hadoop-我想使用 hdfs 中的文件在配置单元中加载表

Question

我无法在本地创建文件。你能告诉我如何以及在哪里创建示例本地文件吗？我对本地和 hdfs 有点困惑。如何将文件从本地移动到 HDFS，移动后如何检查文件是否在 hdfs 中。我是 hadoop 的新手。

谢谢，内存

Answer 1

假设您使用的是基于 Linux 的操作系统

使用创建文件:$ nano /path/to/file.txt .

您必须在创建文件的目录中具有足够的权限。

将文件移动到 HDFS(作为有权访问 HDFS 的用户，比如 hdfs 用户):

hadoop fs -put /path/to/file.txt

检查文件: hadoop fs -ls /user/<hadoop user>

检查文件内容: hadoop fs -cat /user/<hadoop user>/file.txt

现在您可以使用 create external table 创建一个 Hive 表 .. 并在 HDFS 中提及文件路径。