javascript - 使用 Node.js 处理大流

Question

这是我尝试使用 Node 和 imagemagick 转换工具将 svg 字符串转换为 png 缓冲区。然后使用 pdfkit 使用 png 缓冲区在 pdf 中绘制图像。

Td;lr 我有一个大的 svg 字符串需要“完整”地到达子进程(即不分块)。我该怎么做？

这是一个适用于小文件的示例。

var child_process = require('child_process');
var pdfDocument = require('pdfkit');


var convert = child_process.spawn("convert", ["svg:", "png:-"]),
svgsrc =  '<svg><rect height="100" width="100" style="fill:red;"/></svg>';

convert.stdout.on('data', function(data) {  
    console.log(data.toString('base64')
    doc = new pdfDocument()
    doc.image(data)
}


convert.stdin.write(svgsrc);
convert.stdin.end()

这在 svg 字符串为“小”时有效(如示例中提供的 on)——我不确定从小到大的截止点在哪里。

但是，当尝试像这样使用更大的 svg 字符串(您可能使用 D3 生成的字符串)时 [ large string ].我遇到了:

Error: Incomplete or corrupt PNG file

所以我的问题是:如何确保 convert 子进程在处理流之前读取整个流？

一些事情是已知的:

• png 缓冲区确实不完整。我使用差异工具来检查应用程序生成的 base64 字符串与在线 png-to-svg 转换器的 base64 相比。未腐败的字符串比损坏的字符串大得多。 (抱歉我没有文件大小更具体)。也就是说，转换工具似乎不要在任何给定时间阅读整个来源。

• 源 svg 字符串未损坏(事实证明要点呈现它)

• 在命令行中使用时，转换工具会正确生成一个来自 svg“流”的 png 文件，带有 cat large_svg.svg | convert svg:png:- 所以这不是转换工具的问题。

这让我陷入了一个寻找可写和可读流的 Node 缓冲区大小的兔子洞，但无济于事。也许有人在 node 中处理过更大的流，可以帮助它开始工作。

Answer 1

正如@mscdex 指出的那样，我必须先等待该过程完成尝试下游工作。所需要做的就是等待 convert.stdout 流上的 end 事件，并在 data 事件上连接缓冲区。

// allocate a buffer of size 0
graph = Buffer.alloc(0)

// on data concat the incoming and the `graph`

convert.stdout.on('data', function(data) {

    graph = Buffer.concat([graph, data])
}
convert.stdout.on('end', function(signal) {

    // ... draw on pdf

}

编辑:

这是我们使用@mscdex 的更高效的版本建议在 end 回调上进行连接并保留 chunksize 参数以帮助 Buffer 在连接 block 时分配大小。

// allocate a buffer of size 0
var graph = [];
var totalchunks = 0;

convert.stdout.on('data', function(data) {

    graph.push(data);
    totalsize +=data.length;
}
convert.stdout.on('end', function(signal) {

    var image = Buffer.concat(graph, totalsize);
    // ... draw on pdf


}