hadoop - 验证 HDFS 中文件的校验和

Question

我正在使用 webhdfs 将数据从本地文件系统提取到 HDFS。现在我想确保摄取到 HDFS 中的文件的完整性。

如何确保传输的文件没有损坏/更改等？

我使用下面的 webhdfs 命令来获取文件的校验和

curl -i -L --negotiate -u: -X GET "http://$hostname:$port/webhdfs/v1/user/path?op=GETFILECHECKSUM"

我应该如何使用上面的校验和来确保 Ingested 文件的完整性？请建议

下面是我要执行的步骤

>md5sum locale_file
740c461879b484f4f5960aa4f67a145b

 >hadoop fs -checksum locale_file
locale_file     MD5-of-0MD5-of-512CRC32C        000002000000000000000000f4ec0c298cd6196ffdd8148ae536c9fe

本地系统上的文件校验和与 HDFS 上的同一文件不同我需要比较校验和我该怎么做？

Answer 1

实现此目的的一种方法是在本地计算校验和，然后在摄取后将其与 hadoop 校验和进行匹配。

我写了一个库来为它在本地计算校验和，以防有人感兴趣。 https://github.com/srch07/HDFSChecksumForLocalfile