c# - 从压缩文件中获取所有未压缩的字节

Question

我已经创建了一个方法来从压缩文件中返回所有未压缩的字节。

    public static byte[] GetAllBytesFromCompressedFile(string fullPath)
    {
        const int blockSize = 10000;
        byte[] block = new byte[blockSize];
        List<byte> allBytes = new List<byte>(blockSize);

        int counter = 0;
        using (FileStream file = new FileStream(fullPath, FileMode.Open))
        {
            using (DeflateStream compress = new DeflateStream(file, CompressionMode.Decompress))
            {
                int bytesRead = 0;
                do
                {
                    bytesRead = compress.Read(block, 0, blockSize);
                    counter += bytesRead;
                    allBytes.AddRange(block);
                } while (bytesRead == blockSize);
            }
        }

        return allBytes.GetRange(0, counter).ToArray();
    }

它工作正常，但它可能会在一个循环中被调用数百万次。大多数文件都相当小，但有些文件可能高达 100Mb，我不想为所有小文件预分配 100Mb。所以我有几个问题:

1. 首先，框架中是否已有这样的方法？或者更好的方法？
2. 有没有办法获取压缩文件的未压缩大小？(这样我就不必在循环中获取 block 并可以调用 Read 一次)
3. 我用过 List<byte>所以我不必手动重新分配一个字节大批。有没有更有效的附加字节的方法？

---

我会把我的新代码放在这里，尽管这对大多数人来说可能不是一个难题。但也许有人发现了其他可以改进的地方，比如显式设置缓冲区大小(？)

    public static byte[] GetAllBytesFromCompressedFile(string fullPath)
    {
        using (MemoryStream allBytes = new MemoryStream())
        {
            using (FileStream file = new FileStream(fullPath, FileMode.Open))
            {
                using (DeflateStream compress = new DeflateStream(file, CompressionMode.Decompress))
                {
                    compress.CopyTo(allBytes);
                }
            }

            return allBytes.ToArray();
        }
    }

Answer 1

First of all, is there already a method like this in the framework? Or a better way of doing this?

使用MemoryStream作为缓冲区，使用Stream.Copy复制一行中的数据。

Is there a way to get the uncompressed size of a compressed file?

不，deflate 是一种流媒体格式。您可以猜测一些值，因为未压缩的数据可能比压缩的输入大。这样做可能会浪费时间。

I've used List so I don't have to manually reallocate a byte array. Is there a more efficient way of appending bytes?

这是非常低效的。 List 类会枚举你传入的字节数组，并逐个添加字节。在一个大文件上疯狂地燃烧 CPU。使用 MemoryStream。它使用 memcpy 执行复制操作。

此外，您还有一个错误:您没有使用 Read 的返回值来确定读取了多少字节。您总是在附加一个完整的缓冲区。这与建议的算法无关。