gpt4 book ai didi

hadoop - 验证 HDFS 中文件的校验和

转载 作者:可可西里 更新时间:2023-11-01 14:26:40 30 4
gpt4 key购买 nike

我正在使用 webhdfs 将数据从本地文件系统提取到 HDFS。现在我想确保摄取到 HDFS 中的文件的完整性。

如何确保传输的文件没有损坏/更改等?

我使用下面的 webhdfs 命令来获取文件的校验和

curl -i -L --negotiate -u: -X GET "http://$hostname:$port/webhdfs/v1/user/path?op=GETFILECHECKSUM"

我应该如何使用上面的校验和来确保 Ingested 文件的完整性?请建议

下面是我要执行的步骤

>md5sum locale_file
740c461879b484f4f5960aa4f67a145b

>hadoop fs -checksum locale_file
locale_file MD5-of-0MD5-of-512CRC32C 000002000000000000000000f4ec0c298cd6196ffdd8148ae536c9fe

本地系统上的文件校验和与 HDFS 上的同一文件不同我需要比较校验和我该怎么做?

最佳答案

实现此目的的一种方法是在本地计算校验和,然后在摄取后将其与 hadoop 校验和进行匹配。

我写了一个库来为它在本地计算校验和,以防有人感兴趣。 https://github.com/srch07/HDFSChecksumForLocalfile

关于hadoop - 验证 HDFS 中文件的校验和,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31117771/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com