- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
这个问题继续讨论开始 here 。我发现 HTTP 响应正文无法被解码为 JSON 对象,因为后者的 deflate
压缩。现在我想知道如何用Golang进行解压。我将不胜感激任何能够显示我的代码中的错误的人。
输入数据
我已将 HTTP 响应正文转储到“test”中' 文件。这是它:
$ cat test
x��PAN�0�
;��NtJ�FӮdU�|"oVR�C%�f�����Z.�^Hs�dW뮑�'��DH�S�SFVC����r)G,�����<���z}�x_g�+�2��sl�r/�Oy>��J3\�G�9���N���#[5M�^v/�2Ҕ��|�h��[�~7�_崛<D*���/��i
让我们确保该文件可以解压,甚至包含有效的 JSON:
$ zlib-flate -uncompress < test
{"timestamp":{"tv_sec":1428488670,"tv_usec":197041},"string_timestamp":"2015-04-08 10:24:30.197041","monitor_status":"enabled","commands":{"REVERSE_LOOKUP":{"cache":{"outside":{"successes":0,"failures":0,"size":0,"time":0},"internal":{"successes":0,"failures":0,"size":0,"time":0}},"disk":{"outside":{"successes":0,"failures":0,"size":0,"time":0},"internal":{"successes":13366,"failures":0,"size":0,"time":501808}},"total":{"storage":{"successes":0,"failures":0},"proxy":{"successes":13366,"failures":0}}},"clients":{}}}
$ zlib-flate -uncompress < test | python -m json.tool
{
"commands": {
"REVERSE_LOOKUP": {
"cache": {
....
源代码
package main
import (
"bytes"
"compress/flate"
"fmt"
"io/ioutil"
)
func main() {
fname := "./test"
content, err := ioutil.ReadFile(fname)
if err != nil {
panic(err)
}
fmt.Println("File content:\n", content)
enflated, err := ioutil.ReadAll(flate.NewReader(bytes.NewReader(content)))
if err != nil {
panic(err)
}
fmt.Println("Enflated:\n", enflated)
}
错误
$ go run uncompress.go
File content:
[120 156 181 80 65 78 195 48 16 252 10 242 57 69 118 226 166 38 247 156 64 42 42 130 107 100 156 165 88 196 118 149 93 35 160 234 223 89 183 61 112 42 226 192 109 118 118 102 103 180 123 65 62 0 146 13 59 209 237 5 189 15 8 78 116 74 215 70 27 211 174 100 85 184 124 34 111 86 82 171 67 37 144 102 31 183 195 15 167 168 165 90 46 164 94 72 115 165 100 87 235 174 145 215 39 189 168 68 72 209 83 154 7 22 83 70 86 67 180 207 19 140 188 114 41 4 27 71 44 225 155 254 169 223 60 244 195 221 122 125 251 120 95 24 103 221 43 20 144 50 161 31 143 16 179 115 128 8 108 225 114 47 214 79 121 62 15 232 191 224 8 74 51 6 92 213 71 130 57 218 233 175 78 182 142 30 223 254 35 91 53 77 219 94 118 47 165 50 210 148 18 148 232 124 128 31 104 183 151 91 176 126 55 167 143 207 95 3 15 229 180 155 60 68 42 159 231 241 27 47 165 167 25]
panic: flate: corrupt input before offset 5
goroutine 1 [running]:
runtime.panic(0x4a7180, 0x5)
/usr/lib/go/src/pkg/runtime/panic.c:266 +0xb6
main.main()
/home/isaev/side-projects/elliptics-manager/uncompress.go:20 +0x2a3
exit status 2
PSUbuntu 14.10、Go 1.2.1
最佳答案
您的输入不是一个简单的压缩 block ,而是一个zlib流。
根据ZLIB Compressed Data Format Specification 3.3前 2 个字节是:
-------------
| CMF | FLG |
-------------
压缩方法和标志。您的输入以 [120, 156]
开头,即十六进制的 78 9C
。这是默认压缩。后面也没有字典,所以后面的数据是压缩后的数据。
位 0 到 3 是 CM 压缩方法,位 4 到 7 是 CINFO 压缩信息。在这种情况下,CINFO=7 表示 32K 窗口大小,CM=8 表示“deflate”压缩方法。 FLG 位 5 指示是否预设了字典,在本例中就是这样。 FLG 的详细信息也在链接 RFC 1950 中.
因此,您的输入基本上表明其余数据是使用默认压缩构建的,但 go flate
包不会对此进行解码。
更改您的解压缩以省略前 2 个字节,如下所示,它将起作用:
enflated, err := ioutil.ReadAll(flate.NewReader(bytes.NewReader(content[2:])))
在 Go Playground 上尝试一下。但是...
使用正确的 ZLib 解压!
这次我们很幸运,因为压缩级别是默认的,并且字典是预设的。如果没有,您将无法使用 flate
包对其进行解码。由于输入是 zlib 流,因此您应该使用 compress/zlib
包正确解码它而不是依靠运气:
r, err := zlib.NewReader(bytes.NewReader(content))
if err != nil {
panic(err)
}
enflated, err := ioutil.ReadAll(r)
if err != nil {
panic(err)
}
fmt.Println(string(enflated))
尝试 Go Playground 上的 zlib
变体.
关于戈兰 : "compress/flate" module can't decompress valid deflate compressed HTTP body,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29513472/
我在一个经常受到机器人网络攻击的网站工作。我们已经开始使用这个工具:http://deflate.medialayer.com/哪个自动禁止具有比设置值更多的开放连接的 ip。默认情况下它设置为 15
我看到一个奇怪的情况,Java 8u45 和 java.util.Deflater.deflate(byte[] b, int off, int len, int flush) 的输出缓冲区很小与小输
zlib docs指定可以将负的 windowBits 参数传递给 deflateInit2() 函数: windowBits can also be –8..–15 for raw deflate.
我写了一些 Javascript 代码。用base64压缩并放气 function base64 (str) { return new Buffer(str).toString("base64
在 Java 7 中,Deflater添加了对某些压缩参数的支持(模式:FULL_FLUSH、SYNC_FLUSH)。我猜他们对应的 Zlib 类似 constants在标准 API 中(虽然这个 A
我遇到了一些 zlib 压缩的不同实现之间不兼容的问题。 作为测试用例,我想创建具有 10000 个 double 的测试数据,范围从 0 到 10000。 我创建了一些测试代码来压缩和解压缩此数据,
我正在将一个 Python 应用程序移植到 Android,在某些时候,这个应用程序必须与 Web 服务通信,向它发送压缩数据。 为了做到这一点,它使用了下一个方法: def stuff(self,
我目前正在实现一个 png 阅读器,但我对数据的位顺序和一般格式感到困惑。 我无法访问 libpng、zlib 或类似软件。 请注意,我写的任何位串都是最高有效位在前。 根据 RFC1951 , "数
我目前正在实现一个 png 阅读器,但我对数据的位顺序和一般格式感到困惑。 我无法访问 libpng、zlib 或类似软件。 请注意,我写的任何位串都是最高有效位在前。 根据 RFC1951 , "数
我正在将大量对象保存到一个文件中,然后反序列化它们。生成的 xml 文件大小约为 3 gig。 我希望反序列化非常快,所以我尝试了所有三种方法(xml、二进制、压缩) 显然,反序列化压缩文件比 XML
这个问题在这里已经有了答案: Zlib deflated input is larger than original input string of chars? (3 个答案) 关闭 5 年前。
我目前正在尝试创建自定义 Deflate在 C# 中实现。 我目前正在尝试实现“模式搜索”部分,其中我有(最多)32k 的数据,并且正在尝试为我的输入搜索最长的可能模式。 RFC 1951定义 Def
我听到了关于MsgPack的一些信息,可用于压缩json消息,但是我对此有一个疑问,为什么不简单地使用Gzip / Deflate而不是MsgPack?我认为调试也更好。 最佳答案 msgpack是一
我花了大约 48 小时尝试解决 gzip deflate 问题,并意识到我可能需要寻求帮助,呵呵。 在意识到我需要在 php.ini 文件中打开压缩之后,我终于通过 .htaccess 在我的共享 U
让 zlib 在每个请求期间压缩网页似乎是多余的。这也是我的文件响应时间的瓶颈。有没有办法缓存 zlib 文件,以便每次修改时只压缩一次?还是我应该继续愿望? 最佳答案 如果您想要一个快速而懒惰的解决
我正在尝试找出如何禁用服务器上特定目录的 DEFLATE 模块(gzipping)。这是我在/etc/httpd/conf/httpd.conf 中的内容 AddOutputFilterByType
我正在开发一个文件压缩程序。我们目前正在实现 .ZIP 存档器标准,以便在生成压缩的 .ZIP 存档器时,任何其他信誉良好的压缩器(例如 7zip)都可以完美地理解/解压缩它。 我们现在正在开发基于R
我使用 Deflater 编写了一个备份程序SHA-1 用于存储文件和哈希值。我看到Java的Deflater使用zlib 。如果我显式设置 Deflater 的级别,无论平台和 JRE 版本如何,我
我想在保存到文件之前压缩字节数组。当我使用 Deflator 压缩字节数组时,出现 OutOfMemoryError: ERROR/dalvikvm-heap(16065): Out of memor
需要一些帮助来了解 DEFLATE 编码的工作原理。我知道这是 LZSS 算法和霍夫曼编码的组合。 因此,让我们编码例如“延迟放气”。参数:[Search buffer: 8kb and Look-a
我是一名优秀的程序员,十分优秀!