node.js - Node v12.7 如何实现原生的brotli、gzip、deflate压缩缓冲区

Question

我是一名前端开发人员，在这里提升我在后端的能力。

我有一个托管应用程序的 Node Express 服务器并且在同一服务器/AWS EC2 实例上提供 REST API。

我正在使用 express-static-gzip npm 包为静态应用程序包和 Assets 启用 brotli 压缩。这太棒了。然而，我不得不为 Three.js 对象切换到 SSR，因为手机无法处理海量数据集解析。不幸的是，它没有对我的 REST 数据应用压缩。

目前，在此期间我禁用了 express-static-gzip 并启用了 compression npm 包。这仅对静态包和 REST API 启用 gzip。

我特别需要在我的静态包和我的 REST API 上使用 GZIP/Deflate 回退压缩的 Brotli。未压缩的最大 GET 请求可以是 138MB。 GZIP 将其压缩到 12.8MB。我希望它与 Brotli 一起小于 10MB。

我的意图是让 express-static-gzip 在我的包上运行压缩，并在我的 REST API 上运行手动 Node zlib 压缩。如果这不可行，则对所有内容进行手动 Node zlib 压缩!

我不了解有关缓冲区和后端类型的一些事情......也许你可以告诉我我在这里做错了什么:

app.get('/quakeData/:index', function(req, res){
    // Send Specific Selection or All
    const encoding = req.headers['accept-encoding'], 
          index    = req.params.index,
          jsonArr  = index != "all" ? [ quakes[index], threeData[index] ] : [ quakes, threeData ],
          jsonStr  = JSON.stringify(jsonArr),
          bData    = Buffer.from(jsonStr);

    if (encoding.includes('br')) {
        console.log("BROTLI RES");
        zlib.brotliCompress(bData, (err, result) => {
            console.log(result);
            !err ? res.send(result) : console.warn(err);
        });

    } else if (encoding.includes('gzip')) {
        console.log("GZIP RES");
        zlib.gzip(bData, (err, result) => {
            console.log(result);
            !err ? res.send(result) : console.warn(err);
        });

    } else if (encoding.includes('deflate')) {
        console.log("DEFLATE RES");
        zlib.deflate(bData, (err, result) => {
            console.log(result);
            !err ? res.send(result) : console.warn(err);
        })

    } else {
        console.warn("Unsupported Content Encoding Headers");
        res.setHeader('Content-Type', 'application/json');
        res.json(jsonArr);
    }

另外，我发现压缩模块删除了 Content Length header ，因为我的 XHR Progress API 代码停止工作。无论实现什么解决方案，我都需要有 Content Length header 。我该怎么做？另外，有没有办法设置 GET 以提前接收内容长度以估计下载时间？

谢谢!

Answer 1

我已经开始工作了。尽管现在我遇到了如何使用不同压缩选项动态选择时间范围的问题。我将不得不修改它，因为压缩数据需要相当长的时间。

很明显，Brotli 要优越得多。我想当我每月重构和测试时，数据节省会令人印象深刻。下面是我得到的代码，上面的工作。当然，它会根据每个 API 请求进行压缩，这在生产中没有意义，但有利于测试。

(更新)我将代码重构为更最终的实现，包括写入 txt 文件等。然而，未提供代码，这是 Brotli 与 GZIP 的最终压缩字节长度比较。 GZIP 提供更快的压缩，尽管尺寸更大。

布罗特利:[ 5433, 137501, 952538, 6438971 ]

GZIP: [ 6818, 194843, 1544908, 10451525 ]

上面的字节长度数组分别对应每小时、每天、每周和每月的数据集。压缩前的每月数据集约为 138MB。

此外，仅供引用，XHR 进度 API 已被破坏，因此即使您发送字节大小的内容 header ，它也无法正常工作。我必须创建一个单独的 API 来在数据 AJAX 之前发送字节长度。

const jsonStr  = JSON.stringify(jsonArr),
          bData    = Buffer.from(jsonStr, 'utf-8');

    if (encoding.includes('br')) {
        console.log("BROTLI RES");
        zlib.brotliCompress(bData, (err, result) => {
            console.log(result);
            res.writeHead(200, {
                'Content-Type':     'application/json',
                'Content-Encoding': 'br',
                'Content-Length':   bData.length
            });

            !err ? res.end(result) : console.warn(err);
        });

    } else if (encoding.includes('gzip')) {
        console.log("GZIP RES");
        zlib.gzip(bData, (err, result) => {
            console.log(result);
            res.writeHead(200, {
                'Content-Type':     'application/json',
                'Content-Encoding': 'gzip',
                'Content-Length':   bData.length
            });

            !err ? res.end(result) : console.warn(err);
        });

    } else if (encoding.includes('deflate')) {
        console.log("DEFLATE RES");
        zlib.deflate(bData, (err, result) => {
            console.log(result);
            res.writeHead(200, {
                'Content-Type':     'application/json',
                'Content-Encoding': 'deflate',
                'Content-Length':   bData.length
            });

            !err ? res.end(result) : console.warn(err);
        });

    } else {
        console.warn("Unsupported Content Encoding Headers");
        res.setHeader('Content-Type', 'application/json');
        return res.json(compressed);
    }