hadoop - 在不同的 hadoop 节点上添加不同的文件

Question

当我们添加文件时

bin/hadoop dfs -put input_folder input

在 HDFS 中通过这个命令。当我们添加文件时，它们会被复制到所有节点。

有什么方法可以让我们在不同的节点上分发不同的文件，意味着假设我有 4 个文件 A、B、C、D。我将在节点 1 上添加文件 A 和 B，并保留在节点 2 上。这种情况可能吗？

如果是，那么在节点故障的情况下会发生什么？

Answer 1

我假设您没有更改复制因子。默认值为 3，这意味着每个文件有三个副本。如果你有 2 个数据节点，所有文件都将被复制到所有数据节点。降低此值，直到它满足您的需求。

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

如果节点发生故障并且没有其他副本存在，您将无法访问这些文件