hadoop - 集群中的不同数据节点是否可能具有不同的存储容量？

Question

可以将不同容量的节点添加到我们的Hadoop集群中。

例:

Data Node 1 - 1 TB Disk space, 20 GB memory
Data Node 2 - 5 TB Disk space, 30 GB memory
Data Node 3 - 60 TB Disk space, 50 GB Memory. 

Answer 1

有可能的。但是为此，您需要不同大小的物理硬盘。

您无法在conf中定义要使用数据节点的硬盘大小。文件。因此，如果要在数据节点中使用不同大小的磁盘空间，则可以通过具有不同容量的硬盘来实现。

但是，块大小对于所有数据节点都将保持相同，因为块大小是为整个群集定义的，而不是为单个节点定义的。