c# - AzCopy 忽略或重新创建校验和

Question

我正在使用 Azure 工具 AzCopy 从表存储中导出数据，修改导出的数据，然后将数据导入到另一个表存储表中。我使用以下命令来导出:

AzCopy /Source:https://MYSERVER/MYTABLE/ /SourceKey:SOURCEKEY /Dest:C:\migration /Manifest:MYTABLE

由于您无法添加导出过滤器，因此我将在导出后过滤数据，并根据需要从 JSON 中删除数据。然后，我使用以下命令将此数据导入到另一台服务器:

AzCopy/Source:C:\export /Dest:https://MYOTHERSERVER/MYTABLE /DestType:Table /DestKey:DESTKEY /Manifest:MYTABLE EntityOperation:InsertOrReplace

当我不操作 JSON 文件时，这些操作工作正常。但是，当我这样做时，文件的内容当然会发生更改，并且 list 文件中的校验和不再匹配。当我进行导入时，我收到一条“文件已损坏”消息。

list 文件如下所示:

"Version":2,"PayloadFormat":"Json","Checksum":5500917691400439101,"AccountName":"SERVER","TableName":"MYTABLE","Timestamp":"2017-08-25T14:10:53.7489755Z","SplitSize":0,"TotalDataFiles":1}

如何让 AzCopy 不验证校验和或替换校验和？

我已尝试使用以下代码来重新创建校验和，但是当我对原始 JSON 执行此操作时，它不匹配:

var md5Hash = getFileHash(file);
var checksum = convertHash(md5Hash);

private byte[] getFileHash(string filePath)
{
    using (var md5 = MD5.Create())
    {
        using (var stream = File.OpenRead(filePath))
        {
            return md5.ComputeHash(stream);
        }
    }
}

private string convertHash(byte[] data)
{
    var algorithm = MD5.Create();
    var result = BitConverter.ToUInt64(data,0);
    return result.ToString();
}

这将返回4500814390503865422。

Answer 1

AzCopy 目前不支持在表导入期间跳过校验和验证。顺便说一句， list 文件中记录的校验和实际上是 CRC 而不是 MD5，并且它是通过聚合所有导出文件而不是单个 list 文件的 CRC 来计算的。