gpt4 book ai didi

node.js - 在流式 HTTP 客户端之间共享 DEFLATE 压缩的数据 block

转载 作者:太空宇宙 更新时间:2023-11-04 02:36:39 25 4
gpt4 key购买 nike

我想通过 HTTP 提供一些流数据。此外,我想压缩数据以节省带宽。我可以简单地分别压缩每个流响应,但就我而言,每个客户端(扇出)的数据流基本上相同,因此为每个连接压缩相同的数据似乎浪费 CPU 时间。我的计划是抢先压缩每个流数据 block ,这样任何时候连接的客户端都可以开始读取下一个 block (这是以降低压缩效率为代价的,但只要单个数据 block 足够大,这应该没问题)。

兼容的 HTTP 客户端显然应该能够接受 Content-Encoding: gzip 中的多个 gzip 压缩文件。回应,but the answers to this question indicate web browsers do not 。但是,根据我对 DEFLATE/zlib 的理解,您可以改为发送 Z_FULL_FLUSH 0x0000FFFF 用于重置流的字节,该流应具有与单独可解压缩 block 相同的效果。

我在 node.js 中设置了一个简单的 POC,将消息作为服务器发送事件流进行流式传输,但我无法让 Web 浏览器读取数据;它将打开连接,但永远不会刷新数据。我正在使用Z_NO_COMPRESSION为了简单起见。

var http, zlib, gzip, numClients;
http = require('http');
zlib = require('zlib');
gzip = zlib.createDeflateRaw({
flush: zlib.Z_SYNC_FLUSH,
level: zlib.Z_NO_COMPRESSION
});
numClients = 0;
setInterval(function(){
if (numClients > 0) {
gzip.write("data: hi\n\n");
}
}, 1000);
http.createServer(function(req, res){
res.socket.setTimeout(Infinity);
res.writeHead(200, {
'Content-Type': 'text/event-stream',
'Content-Encoding': 'deflate',
'Transfer-Encoding': 'identity',
'Access-Control-Allow-Origin': '*'
});

res.write('\x78\x01'); // write zlib magic number
gzip.pipe(res);
numClients++;
res.on('close', function(){
numClients--;
gzip.unpipe(res);
});
res.on('error', function(){
numClients--;
gzip.unpipe(res);
});
}).listen(8080);
numClients++;
gzip.pipe(process.stdout);

还有一个简单的客户端:

<!DOCTYPE html5>
<html lang=en>
<meta charset=utf-8>
<title>hi</title>

<script>
var es = new EventSource("http://localhost:8080/");
es.addEventListener('data', console.log);
es.addEventListener('open', console.log);
es.addEventListener('error', console.log);
</script>

字节看起来像这样,( curl -N localhost:8080 通过管道 xxd ):

0000000: 7801 000a 00f5 ff64 6174 613a 2068 690a  x......data: hi.
0000010: 0a00 0000 ffff 000a 00f5 ff64 6174 613a ...........data:
0000020: 2068 690a 0a00 0000 ffff 000a 00f5 ff64 hi............d
0000030: 6174 613a 2068 690a 0a00 0000 ffff 000a ata: hi.........
0000040: 00f5 ff64 6174 613a 2068 690a 0a00 0000 ...data: hi.....
0000050: ffff 000a 00f5 ff64 6174 613a 2068 690a .......data: hi.
0000060: 0a00 0000 ffff 000a 00f5 ff64 6174 613a ...........data:

我需要为 DEFLATE 减压器添加额外的框架来检测冲洗点吗?

编辑:我添加了 zlib magic number使 http 流成为有效的 DEFLATE 流,但是网络浏览器仍然不会刷新 block 。然而,管道 gzip通过 zlib.createInflate() 流回如果添加了魔数(Magic Number),则效果很好。我还知道 http 流没有被缓冲,因为 curl -N localhost:8080将显示原始字节。

最佳答案

zlib 流需要通过最后一个 block 和完整性检查来终止。最后一个 block 由 block 开头设置的“最后一位”表示。在这种情况下,由于倒数第二个 block 是存储 block ,将您置于字节边界,因此最后一个 block 可以是 01 00 00 ff ff。

然后,您需要对未压缩数据进行 Adler-32 检查,将其作为流的最后四个字节(紧随最后一个 block )。

关于node.js - 在流式 HTTP 客户端之间共享 DEFLATE 压缩的数据 block ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21667563/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com