c# - Python:Inflate 和 Deflate 实现

Question

我正在与一个服务器连接，该服务器要求发送给它的数据使用 Deflate 算法(霍夫曼编码 + LZ77)进行压缩，并且还发送我需要 Inflate 的数据.

我知道 Python 包含 Zlib，并且 Zlib 中的 C 库支持对 Inflate 和 Deflate 的调用，但这些显然不是由 Python Zlib 模块提供的。它确实提供了 Compress 和 Decompress，但是当我调用如下电话时:

result_data = zlib.decompress( base64_decoded_compressed_string )

我收到以下错误:

Error -3 while decompressing data: incorrect header check

Gzip 也好不到哪里去；调用电话时，例如:

result_data = gzip.GzipFile( fileobj = StringIO.StringIO( base64_decoded_compressed_string ) ).read()

我收到错误:

IOError: Not a gzipped file

这是有道理的，因为数据是 Deflated 文件而不是真正的 Gzipped 文件。

现在我知道有一个 Deflate 实现可用(Pyflate)，但我不知道 Inflate 实现。

好像有几个选项:

1. 在 Python 中找到 Inflate 和 Deflate 的现有实现(理想)
2. 为 zlib c 库编写我自己的 Python 扩展，包括 Inflate 和 Deflate
3. 调用可以从命令行执行的其他东西(例如 Ruby 脚本，因为 zlib 中的 Inflate/Deflate 调用完全包含在 Ruby 中)<
4. ?

我正在寻找解决方案，但如果缺乏解决方案，我会感谢您的见解、建设性意见和想法。

其他信息:出于我需要的目的，对字符串进行压缩(和编码)的结果应该与以下 C# 代码片段给出相同的结果，其中输入参数是对应于要压缩的数据的 UTF 字节数组:

public static string DeflateAndEncodeBase64(byte[] data)
{
    if (null == data || data.Length < 1) return null;
    string compressedBase64 = "";

    //write into a new memory stream wrapped by a deflate stream
    using (MemoryStream ms = new MemoryStream())
    {
        using (DeflateStream deflateStream = new DeflateStream(ms, CompressionMode.Compress, true))
        {
            //write byte buffer into memorystream
            deflateStream.Write(data, 0, data.Length);
            deflateStream.Close();

            //rewind memory stream and write to base 64 string
            byte[] compressedBytes = new byte[ms.Length];
            ms.Seek(0, SeekOrigin.Begin);
            ms.Read(compressedBytes, 0, (int)ms.Length);
            compressedBase64 = Convert.ToBase64String(compressedBytes);
        }
    }
    return compressedBase64;
}

为字符串“deflate and encode me”运行这个 .NET 代码会得到结果

7b0HYBxJliUmL23Ke39K9UrX4HShCIBgEyTYkEAQ7MGIzeaS7B1pRyMpqyqBymVWZV1mFkDM7Z28995777333nvvvfe6O51OJ/ff/z9cZmQBbPbOStrJniGAqsgfP358Hz8iZvl5mbV5mi1nab6cVrM8XeT/Dw==

当“deflate and encode me”通过 Python Zlib.compress() 运行然后 base64 编码时，结果是“eJxLSU3LSSxJVUjMS1FIzUvOT0lVyE0FAFXHB6k=”。

很明显，zlib.compress() 不是与标准 Deflate 算法相同的算法的实现。

更多信息:

.NET deflate 数据(“7b0HY...”)的前 2 个字节，b64 解码后为 0xEDBD，不对应 Gzip 数据(0x1f8b)、BZip2(0x425A)数据或 Zlib(0x789C)数据。

Python 压缩数据(“eJxLS...”)的前 2 个字节，经过 b64 解码后为 0x789C。这是一个 Zlib 头文件。

已解决

要处理没有 header 和校验和的原始 deflate 和 inflate，需要进行以下操作:

在放气/压缩时:去除前两个字节(标题)和最后四个字节(校验和)。

在膨胀/解压缩时:窗口大小有第二个参数。如果此值为负数，它将抑制 header 。这是我目前的方法，包括 base64 编码/解码 - 并且工作正常:

import zlib
import base64

def decode_base64_and_inflate( b64string ):
    decoded_data = base64.b64decode( b64string )
    return zlib.decompress( decoded_data , -15)

def deflate_and_base64_encode( string_val ):
    zlibbed_str = zlib.compress( string_val )
    compressed_string = zlibbed_str[2:-4]
    return base64.b64encode( compressed_string )

Answer 1

您仍然可以使用 zlib模块来膨胀/放气数据。 gzip模块在内部使用它，但添加了一个文件头以使其成为 gzip 文件。看着gzip.py文件，这样的东西可以工作:

import zlib

def deflate(data, compresslevel=9):
    compress = zlib.compressobj(
            compresslevel,        # level: 0-9
            zlib.DEFLATED,        # method: must be DEFLATED
            -zlib.MAX_WBITS,      # window size in bits:
                                  #   -15..-8: negate, suppress header
                                  #   8..15: normal
                                  #   16..30: subtract 16, gzip header
            zlib.DEF_MEM_LEVEL,   # mem level: 1..8/9
            0                     # strategy:
                                  #   0 = Z_DEFAULT_STRATEGY
                                  #   1 = Z_FILTERED
                                  #   2 = Z_HUFFMAN_ONLY
                                  #   3 = Z_RLE
                                  #   4 = Z_FIXED
    )
    deflated = compress.compress(data)
    deflated += compress.flush()
    return deflated

def inflate(data):
    decompress = zlib.decompressobj(
            -zlib.MAX_WBITS  # see above
    )
    inflated = decompress.decompress(data)
    inflated += decompress.flush()
    return inflated

我不知道这是否完全符合您的服务器要求，但是这两个函数能够往返我尝试的任何数据。

参数直接映射到传递给 zlib 库函数的内容。

Python ⇒ C
zlib.compressobj(...) ⇒ deflateInit(...)
compressobj.compress(...) ⇒ deflate(...)
zlib.decompressobj(...) ⇒ inflateInit(...)
decompressobj.decompress(...) ⇒ inflate(...)

构造函数创建结构并使用默认值填充它，并将其传递给初始化函数。compress/decompress 方法更新结构并将其传递给 inflate/deflate。