hadoop - 带 RAID 的 HDP 集群？

Question

您在 HDP 集群上使用 RAID1 的体验如何？

我有两个选择:

1. 为主节点和 zoo 节点设置 RAID 1，完全不要在从属节点(如 kafka 代理、hbase 区域服务器和 yarn 节点管理器)上使用 RAID。

即使我失去一个从节点，我也会有另外两个副本。在我看来，RAID 只会减慢我的集群。

1. 无论如何，使用 RAID 1 设置所有内容。

你怎么看？您对 HDP 和 RAID 有何体验？您如何看待从节点使用 RAID 0？

Answer 1

我建议在 Hadoop 主机上完全不要使用 RAID。有一点需要注意，如果您正在运行 Oozie 和 Hive Metastore 等在后台使用关系数据库的服务，则在数据库主机上进行 raid 可能很有意义。

在主节点上，假设您有 Namenode、zookeeper 等——通常冗余是内置在服务中的。对于名称节点，所有数据都存储在两个名称节点上。对于Zookeeper来说，如果你丢失了一个节点，那么其他两个节点就拥有了所有的信息。

Zookeeper 喜欢快速磁盘 - 理想情况下，将一个完整的磁盘专用于 zookeeper。如果你有 namenode HA，给 namenode 编辑目录和每个日志节点一个专用磁盘。

对于从节点，数据节点将写入所有磁盘，无论如何有效地 strip 化数据。每个“写入”最多是 HDFS block 大小，因此如果您正在写入一个大文件，您可以在磁盘 1 上获得 128MB，然后在磁盘 2 上获得下一个 128MB 等。