linux - hadoop中的文件系统

Question

最近开始学习hadoop多集群

文件系统在 hadoop 中是如何工作的。

例如。如果我有一个 test.txt 文件，其中包含完整的农民详细信息。我是否需要将文件上传到主 HDFS 服务器或从属服务器。

Answer 1

要了解 Hadoop 文件系统的工作原理，请参阅 Hadoop:权威指南

目前，要将文件加载到 HDFS，您只需要从集群的边缘节点运行 -put 或 -copyFromLocal 命令(意思是从您所在的位置可以运行 hadoop 命令)，其余的将由 Hadoop 框架处理。你的命令可能看起来像

hadoop fs 设置

$ hadoop fs -copyFromLocal /home/user1/farmer_details.txt /user/user1

或

$ hadoop fs -put /home/user1/farmer_details.txt /user/user1

你也可以试试hdfs dfs set

$ hdfs dfs -copyFromLocal /home/user1/farmer_details.txt /user/user1

或

$ hdfs dfs -put /home/user1/farmer_details.txt /user/user1

其中 /home/user1/farmer_details.txt 是本地文件系统中的源位置，/user/user1 是 hadoop 文件系统中的目标位置。

要验证上传的文件，可以运行命令

$ hadoop fs -ls /user/user1

你应该得到 /user/user1/farmer_details.txt 文件。