hadoop - dncp_block_verification 日志文件在 HDFS 中增加大小

Question

我们使用的是cloudera CDH 5.3。我面临一个问题，其中“/dfs/dn/current/Bp-12345-IpAddress-123456789/dncp-block-verification.log.curr”和“dncp-vlock-verification.log.prev”的大小不断增加到数小时内结核病。我读了一些博客，他们提到这是一个 HDFS 错误。此问题的临时解决方案是停止数据节点服务并删除这些文件。但是我们观察到日志文件在两个数据节点上的大小都增加了(即使在删除它后在同一个节点上)。因此，它需要持续监测。

有没有人可以永久解决这个问题？

Answer 1

一个解决方案，虽然有点激烈，是完全禁用 block 扫描器，方法是在 HDFS DataNode 配置中将键 dfs.datanode.scan.period.hours 设置为 0(默认为 504，以小时为单位)。这样做的负面影响是您的 DN 可能不会自动检测损坏的 block 文件(并且需要等待 future 的 block 读取客户端来检测它们)；如果您的平均复制是 3 次左右，这没什么大不了的，但是您可以将更改视为短期更改，直到您升级到可以解决该问题的版本。

请注意，如果您升级到最新的 CDH 5.4.x 或更高版本，则不会发生此问题，其中包括 HDFS-7430重写更改和相关的错误修复。这些更改已取消使用此类本地文件，从而消除了问题。