azure - 如何解决从 Windows Azure Blob 存储服务返回的 InvalidMd5 错误？

Question

我正在构建一个应用程序，需要允许用户将大图像(最多约 100 MB)上传到 Windows Azure Blob 存储服务。已阅读Rob Gillen's excellent article关于Windows Azure的文件上传优化，我借用了他的方法来并行上传文件 block ，使用CloudBlockBlob.PutBlock() Parallel.For 中的方法循环(代码可用here)。

我遇到的问题是，每当我尝试上传文件时，我都会收到来自 InvalidMd5 的“storage client ”异常。 。由于怀疑问题可能出在开发存储中，我还尝试针对我的实时 Azure 存储帐户运行代码，但遇到了相同的错误。使用 Fiddler 查看流量我看到“Content-MD5” header 设置为有效的 MD5 哈希值。错误描述显示“请求中指定的 MD5 值无效。MD5 值必须是 128 位且采用 Base64 编码。”，但据我所知，我看到的值是在 Fiddler 中发送是有效的(例如 a91c588092cedbdb1b82c2d3786fd509)。

这是我用来计算哈希值的代码(由 Rob Gillen 提供):

public static string GetMD5HashFromStream(byte[] data)
{
    MD5 md5 = new MD5CryptoServiceProvider();
    byte[] retVal = md5.ComputeHash(data);

    StringBuilder sb = new StringBuilder();
    for (int i = 0; i < retVal.Length; i++)
    {
        sb.Append(retVal[i].ToString("x2"));
    }
    return sb.ToString();
}

这是对 PutBlock() 的实际调用:

blob.PutBlock(transferDetails[j].BlockId, new MemoryStream(buff), blockHash, options);

我也尝试像这样传递哈希:

Convert.ToBase64String(Encoding.UTF8.GetBytes(blockHash))

但结果是一样的 - “InvalidMd5”错误:(

使用base64编码(例如YTkxYzU4ODA5MmNlZGJkYjFiODJjMmQzNzg2ZmQ1MDk=)传递给PutBlock()的MD5哈希值和没有它的(例如a91c588092cedbdb1b82c2d3786fd509)似乎不会产生差异。

罗布的code显然为他工作，我真的不知道是什么导致了我的情况的问题。我对 Rob 的代码所做的唯一更改是更改 ParallelUpload() 扩展方法以采用 Stream 而不是文件名，并根据上传文件的大小动态确定 block 大小。

如果有人知道如何解决这个问题，请告诉我!我将非常感激!我已经为此浪费了两天的时间。

Answer 1

Rob，感谢您提供帮助并指出 MD5 哈希值的差异。你的回答让我朝着正确的方向思考。我又花了一整天的时间来研究这个问题，但幸运的是(并且感谢你的评论:))我终于成功解决了这个问题。事实证明，我的案例实际上存在两个问题:

1) MD5 哈希值:我注意到您在答案中粘贴的哈希值比我得到的哈希值短，但我花了一段时间才发现您的哈希值恰好是两倍 更短。经过一番实验后，我发现测试应用程序中的 GetMD5HashFromStream() 方法正在将 MD5CryptoServiceProvider 生成的 16 字节 哈希值转换为32 个字符 字符串。正是这个 32 个字符的字符串导致了问题，因为它被转换为 Base64 并传递给 PutBlock() 方法，因此长度增加了一倍，因此哈希值无效blob 存储服务正在提示。这是我最终得到的代码:

原文:

public static string GetMD5HashFromStream(byte[] data)
{
    MD5 md5 = new MD5CryptoServiceProvider();
    byte[] retVal = md5.ComputeHash(data);

    StringBuilder sb = new StringBuilder();
    for (int i = 0; i < retVal.Length; i++)
    {
        sb.Append(retVal[i].ToString("x2"));
    }
    return sb.ToString();
}

以及对 PutBlock() 的调用:

// calculate the block-level hash
string blockHash = Helpers.GetMD5HashFromStream(buff);
blob.PutBlock(transferDetails[j].BlockId, new MemoryStream(buff), blockHash, options);

最终:

MD5 md5 = new MD5CryptoServiceProvider();
byte[] blockHash = md5.ComputeHash(buff);
string convertedHash = Convert.ToBase64String(blockHash, 0, 16);
blob.PutBlock(transferDetails[j].BlockId, new MemoryStream(buff), convertedHash, options);

Rob，我真的很好奇你的代码在你的情况下是如何工作的，以及为什么它在我的情况下不起作用——这是否是我机器上的设置所特有的，或者可能是 Azure 工具的不同版本(我是使用 v1.2)...如果您有任何想法，请告诉我。

2) 开发存储中的一个错误:通过大量的网络梳理，我找到了 this page其中提到了开发存储中一个不起眼但显然已知的错误:

If two requests attempt to upload a block to a blob that does not yet exist in development storage, one request will create the blob, and the other may return status code 409 (Conflict), with storage services error code BlobAlreadyExists.

这是我想出的解决方法:

public static bool IsDevelopmentStorageRunning()
{
    return new Microsoft.ServiceHosting.Tools.DevelopmentStorage.DevStore().IsRunning();
}

您需要添加对 Microsoft.ServiceHosting.Tools.dll 的引用，该引用位于“C:\Program Files\Windows Azure SDK\v1.2\bin”在我的机器上。然后，我在处理文件 block 的 Parallel.For 循环之前使用此方法，如下所示:

bool isDevStorageRunning = StorageProxy.IsDevelopmentStorageRunning();
ParallelOptions parallelOptions = new ParallelOptions();
parallelOptions.MaxDegreeOfParallelism = isDevStorageRunning ? 1 : 4;
Parallel.For(0, transferDetails.Length, parallelOptions, j => { ... });

我希望这能为某人省去我所经历的所有麻烦。罗布，再次感谢您的帮助:)