javascript - 从nodejs有效地序列化(和读取)int数组

Question

我正在考虑在 nodejs 中构建一个应用程序，它需要流式传输包含整数数组的大型 (>GB) 文件。至关重要的是，数组需要以最佳方式序列化，而不是基于 ascii，理想情况下使用 8 位来表示较小的整数(这将是数据的绝大部分)，但仍然能够表示较大的数字。

这个问题可能不仅仅是关于 nodejs，但是如何在 nodejs 中解决这个问题？对于来自磁盘的自定义字节编码的流式文件，是否有现成的解决方案？或者更好，整数数组？

理想情况下，流的每个部分的解码应该是磁盘绑定(bind)而不是 cpu 绑定(bind)，即使使用 ssd。

Answer 1

我觉得没有先深入文档很傻(这个项目的目的毕竟是让我学习nodejs)。

事实证明，文件系统模块的默认行为是查找作业。虽然我还没有实现可变长度数量解码部分或测试它的速度。

var fs, rs, bufferSize, buffer, i;
fs = require('fs');
rs = fs.createReadStream('/Path/to/file');
bufferSize = 10;

while(true){
  buffer = rs.read(bufferSize);

  if (!buffer) break;

  for(i=0; i<buffer.length; i++;){
    byte = buffer[i];
    // interpret byte given as integer according to 'variable-length quantity' encoding
  }
}

http://en.wikipedia.org/wiki/Variable-length_quantity

编辑:我做了 a gist功能齐全的脚本。