node.js 如何实时流式传输 22GB gzipped 文件解压缩

Question

我需要迭代 22GB gzip 压缩文件中的行。展开后，文件大小为250GB。(即Google Freebase db dump)

我对流不太了解。有没有办法在我进行时流式传输文件并对其进行压缩？

这是另一种方式:

var r = fs.createReadStream('file.txt');
var z = zlib.createGzip();
var w = fs.createWriteStream('file.txt.gz');
r.pipe(z).pipe(w);

Answer 1

这是使用 zlib.createGunzip 而不是 zlib.createGzip 的反向操作:

var r = fs.createReadStream('file.txt.gz');
var z = zlib.createGunzip();
var w = fs.createWriteStream('file.txt');
r.pipe(z).pipe(w);