php - 无状态增量文件哈希上下文恢复

Question

问题简述

如何在 PHP 中“恢复 hash_context”？

---

背景和现状

该软件的目标是逐 block (同步)接收大文件，计算该文件的 MD5 和 SHA1，并生成(完整文件的)下载链接。类似于 RapidShare，但不是完整地发送文件，而是逐 block 发送文件。

目前该软件正在使用此逻辑:
它在每个文件 session 中同步接收文件 block (一个大文件的 10MB block )。收到所有 block 后，我需要计算一个文件的 MD5 和 SHA1，这对于超过 1GB 的文件需要很长时间。

文件终结器的伪代码(当接收到所有 block 时):

$fileKey = $_GET['KEY'];
$ctxMd5 = hash_init('md5');
$ctxSha1 = hash_init('sha1');

$fh = fopen('file/containing/all_chunks.tmp', 'r');
while(!feof($fh)) {
$data = fread($fh, CHUNK_SIZE);
    hash_update($ctxMd5, $data);
    hash_update($ctxSha1, $data);
}
$md5 = hash_final($ctxMd5);
$sha1= hash_final($ctxSha1);

saveFileHashes($fileKey, $md5, $sha1);

问题是当所有 block 都上传后，用户必须等到脚本计算两个哈希值，这非常令人沮丧。

---

问题的解决方案

我想这样修改接收逻辑:
我不想在接收和保存所有 block 时计算哈希值，而是想在接收到每个 block 时恢复或创建新的哈希上下文、递增上下文、保存哈希上下文状态并保存文件 block 。

block 接收器的伪代码:

$chunkData = getIncommingChunkData();
$fileKey = $_GET['KEY'];

$ctxMd5 = resumeMd5HasingContext($fileKey);
$ctxSha1 = resumeSha1HasingContext($fileKey);

hash_update($ctxMd5, $chunkData);
hash_update($ctxSha1, $chunkData);

saveMd5HashingContext($fileKey, $ctxMd5)
saveSha1HashingContext($fileKey, $ctxSha1)

appendFileChunk($fileKey, $chunkData);

---

问题

主要问题是 PHP 资源不可序列化，hash_init 也没有提供恢复上下文的方法。

我想知道如何实现上述所有目标？

Answer 1

只是解决问题的一个想法:也许您应该将接收过程与连接/散列过程分开。

当您初始化传输时，您的脚本可以启动一个在后台运行的持久脚本，等待 block ，计算每个可用 block 的哈希值，将它们附加到文件并在接收到所有 block 时退出，全部在一次执行中。

您的接收脚本会简单地将上传的 block 文件移动到一个临时目录，以使它们可用于持久进程。