gpt4 book ai didi

c# - 如何计算大文件 block 的哈希值?

转载 作者:太空狗 更新时间:2023-10-30 00:19:25 25 4
gpt4 key购买 nike

我希望能够在 C# 中计算文件的任意大小的文件 block 的哈希值。

例如:计算 4gb 文件中第 3 GB 的哈希。

主要问题是我不想在内存中加载整个文件,因为可能有多个文件并且偏移量可能是任意的。

据我所知,HashAlgorithm.ComputeHash 允许我使用流的字节缓冲区。流将使我能够高效地计算哈希值,但针对整个文件,而不仅仅是针对特定 block 。

我正在考虑创建一个备用 FileStream 对象并将其传递给 ComputeHash,在那里我将重载 FileStream 方法并只读取文件中的特定 block 。

是否有比这更好的解决方案,最好使用内置的 C# 库?谢谢。

最佳答案

你应该传入:

  • 一个字节数组,包含要从中计算散列的数据 block
  • 限制访问您要从中计算哈希的 block 的流

第二个选项并不难,这里有一个快速的 LINQPad我拼凑的程序。请注意,它缺少相当多的错误处理,例如检查该 block 是否实际可用(即您正在传递实际存在的流的位置和长度,并且不会从底层的末尾掉落流)。

不用说,如果这最终成为生产代码,我会添加大量错误处理,并编写大量单元测试以确保正确处理所有边缘情况。

您可以像这样为您的文件构造 PartialStream 实例:

const long gb = 1024 * 1024 * 1024;
using (var fileStream = new FileStream(@"d:\temp\too_long_file.bin", FileMode.Open))
using (var chunk = new PartialStream(fileStream, 2 * gb, 1 * gb))
{
var hash = hashAlgorithm.ComputeHash(chunk);
}

这是 LINQPad测试程序:

void Main()
{
var buffer = Enumerable.Range(0, 256).Select(i => (byte)i).ToArray();
using (var underlying = new MemoryStream(buffer))
using (var partialStream = new PartialStream(underlying, 64, 32))
{
var temp = new byte[1024]; // too much, ensure we don't read past window end
partialStream.Read(temp, 0, temp.Length);
temp.Dump();
// should output 64-95 and then 0's for the rest (64-95 = 32 bytes)
}
}

public class PartialStream : Stream
{
private readonly Stream _UnderlyingStream;
private readonly long _Position;
private readonly long _Length;

public PartialStream(Stream underlyingStream, long position, long length)
{
if (!underlyingStream.CanRead || !underlyingStream.CanSeek)
throw new ArgumentException("underlyingStream");

_UnderlyingStream = underlyingStream;
_Position = position;
_Length = length;
_UnderlyingStream.Position = position;
}

public override bool CanRead
{
get
{
return _UnderlyingStream.CanRead;
}
}

public override bool CanWrite
{
get
{
return false;
}
}

public override bool CanSeek
{
get
{
return true;
}
}

public override long Length
{
get
{
return _Length;
}
}

public override long Position
{
get
{
return _UnderlyingStream.Position - _Position;
}

set
{
_UnderlyingStream.Position = value + _Position;
}
}

public override void Flush()
{
throw new NotSupportedException();
}

public override long Seek(long offset, SeekOrigin origin)
{
switch (origin)
{
case SeekOrigin.Begin:
return _UnderlyingStream.Seek(_Position + offset, SeekOrigin.Begin) - _Position;

case SeekOrigin.End:
return _UnderlyingStream.Seek(_Length + offset, SeekOrigin.Begin) - _Position;

case SeekOrigin.Current:
return _UnderlyingStream.Seek(offset, SeekOrigin.Current) - _Position;

default:
throw new ArgumentException("origin");
}
}

public override void SetLength(long length)
{
throw new NotSupportedException();
}

public override int Read(byte[] buffer, int offset, int count)
{
long left = _Length - Position;
if (left < count)
count = (int)left;
return _UnderlyingStream.Read(buffer, offset, count);
}

public override void Write(byte[] buffer, int offset, int count)
{
throw new NotSupportedException();
}
}

关于c# - 如何计算大文件 block 的哈希值?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20634827/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com