java - 为什么Java和Go的gzip会得到不同的结果？

Question

首先，我的 Java 版本:

string str = "helloworld";
ByteArrayOutputStream localByteArrayOutputStream = new ByteArrayOutputStream(str.length());
GZIPOutputStream localGZIPOutputStream = new GZIPOutputStream(localByteArrayOutputStream);
localGZIPOutputStream.write(str.getBytes("UTF-8"));
localGZIPOutputStream.close();
localByteArrayOutputStream.close();
for(int i = 0;i < localByteArrayOutputStream.toByteArray().length;i ++){
    System.out.println(localByteArrayOutputStream.toByteArray()[i]);
}

输出为:

31-1178个0000000-5372-51-55-5547-4947-54731个0-8332-21-710000

然后是 Go 版本:

var gzBf bytes.Buffer
gzSizeBf := bufio.NewWriterSize(&gzBf, len(str))
gz := gzip.NewWriter(gzSizeBf)
gz.Write([]byte(str))
gz.Flush()
gz.Close()
gzSizeBf.Flush()
GB := (&gzBf).Bytes()
for i := 0; i < len(GB); i++ {
    fmt.Println(GB[i])
}

输出:

311398个0091101360255202722052012014720747202731个0002552551个002552551733223524910000

为什么？

一开始我以为可能是这两种语言的字节读取方式不同导致的。但我注意到 0 永远无法转换为 9。而且 []byte 的大小不同。

我写错代码了吗？有什么方法可以让我的 Go 程序获得与 Java 程序相同的输出？

谢谢!

Answer 1

首先是Java中的byte类型是有符号的，它的范围是-128..127，而在Go中是byte 是 uint8 的别名，范围是 0..255。因此，如果要比较结果，则必须将负 Java 值移动 256(添加 256)。

提示:要以无符号方式显示 Java byte 值，请使用:byteValue & 0xff 将其转换为 int使用 byte 的 8 位作为 int 中的最低 8 位。或者更好:以十六进制形式显示两个结果，这样您就不必关心符号...

即使你做了转变，你仍然会看到不同的结果。这可能是由于不同语言的默认压缩级别不同。请注意，尽管在 Java 和 Go 中默认的压缩级别都是 6，但这并没有指定，不同的实现允许选择不同的值，并且在未来的版本中也可能会发生变化。

即使压缩级别相同，您仍可能会遇到差异，因为 gzip 基于 LZ77和 Huffman coding它使用建立在频率(概率)上的树来决定输出代码，如果不同的输入字符或位模式具有相同的频率，则分配的代码可能在它们之间不同，而且多个输出位模式可能具有相同的长度，因此具有不同的可能会选择一个。

如果您想要相同的输出，唯一的方法是(请参阅下面的注释!)使用 0 压缩级别(根本不压缩)。在 Go 中使用压缩级别 gzip.NoCompression，在 Java 中使用 Deflater.NO_COPMRESSION .

Java:

GZIPOutputStream gzip = new GZIPOutputStream(localByteArrayOutputStream) {
    {
        def.setLevel(Deflater.NO_COMPRESSION);
    }
};

开始:

gz, err := gzip.NewWriterLevel(gzSizeBf, gzip.NoCompression)

但我不会担心不同的输出。 Gzip 是一个标准，即使输出不同，您仍然可以使用任何用于压缩数据的 gzip 解码器解压缩输出，并且解码后的数据将完全相同。

以下是简化的扩展版本:

这并不重要，但您的代码不必要地复杂。您可以像这样简化它们(这些版本还包括设置 0 压缩级别和转换负 Java byte 值):

Java 版本:

ByteArrayOutputStream buf = new ByteArrayOutputStream();
GZIPOutputStream gz = new GZIPOutputStream(buf) {
    { def.setLevel(Deflater.NO_COMPRESSION); }
};
gz.write("helloworld".getBytes("UTF-8"));
gz.close();
for (byte b : buf.toByteArray())
    System.out.print((b & 0xff) + " ");

Go 版本:

var buf bytes.Buffer
gz, _ := gzip.NewWriterLevel(&buf, gzip.NoCompression)
gz.Write([]byte("helloworld"))
gz.Close()
fmt.Println(buf.Bytes())

注意事项:

gzip 格式允许在输出中包含一些额外的字段(标题)。

在 Go 中，这些由 gzip.Header 表示输入:

type Header struct {
    Comment string    // comment
    Extra   []byte    // "extra data"
    ModTime time.Time // modification time
    Name    string    // file name
    OS      byte      // operating system type
}

它可以通过 Writer.Header 访问结构字段。 Go 设置并插入它们，而 Java 不(将 header 字段保留为零)。因此，即使您将两种语言的压缩级别设置为 0，输出也不会相同(但“压缩”数据将在两种输出中匹配)。

不幸的是，标准 Java 不提供设置/添加这些字段的方法/接口(interface)，并且 Go 也没有让在输出中填充 Header 字段成为可选，因此您将无法生成准确的输出。

一种选择是使用支持设置这些字段的 Java 的第 3 方 GZip 库。 Apache Commons Compress就是这样一个例子，它包含一个GzipCompressorOutputStream具有允许 GzipParameters 的构造函数的类要传递的实例。此 GzipParameters 等同于 gzip.Header 结构。只有使用它，您才能生成准确的输出。

但如前所述，生成准确的输出没有实际值(value)。