node.js - 在nodejs中分割和重建文件会改变某些格式的长度

Question

我正在编写一个脚本来将文件分割成 block 并从 block 中重建这些文件。

这适用于 .txt 文件和 .js 文件

但是，当我尝试使用更“复杂”的文件(例如图像 .png、.pdf 或 .docx)的脚本时，该文件未正确重建。

例如，对于原始 2 057 字节 长的图像，我检索到一个 3 387 字节 长的文件，该文件无法被任何东西读取。

我不知道如何调试这个。因此，我希望有人指出我的工作出了什么问题，或者如何发现我的工作有问题。

这是到目前为止我的脚本:

const fs = require('fs');
const fileName = "sample.png";
var fileBuffer = fs.readFileSync(fileName);
var bufferLength = fileBuffer.length;
var chunkSize = 10;
var chunkQtt = bufferLength / chunkSize;
var result = splitBuffer(fileBuffer, chunkSize);

result.forEach(writeFileFromBuf);
var resFromChunk = [];

for (let i = 0; i < result.length; i++) {
    resFromChunk.push(fs.readFileSync('./chunks/fileChunk' + i));
}


fs.createWriteStream("rebuilt_" + fileName).write(Buffer.concat(resFromChunk).toString());

console.log("quantity of chunks: " + chunkQtt);
console.log("buffer length " + bufferLength);
console.log("chunks size " + chunkSize);

function splitBuffer(buffer, csize) {
    let pointer = 0;
    var result = [];
    var currentSize = 0;

    for (let i = 0; i < chunkQtt; i++) {
        result[i] = buffer.slice(pointer, pointer + csize);
        console.log("length " + result[i].length + " data: " + result[i].toString());
        currentSize += result[i].length;
        pointer += csize;
    }
    console.log("retrieved size " + currentSize)
    return result
}

function writeFileFromBuf(element, index, array) {
    var fileName = "./chunks/fileChunk" + index;
    fs.writeFileSync(fileName, element);
}

Answer 1

一切都很好，直到您尝试将所有读入 block 粘合在一起并将结果写入重新组装的文件“rebuilt_sample.png”。在此之前的所有步骤(读取原始文件，将其分解为 block ，将 block 写入单个文件，读回 block 文件)将文件数据处理为包含尚未以任何方式检查或解释的字节的缓冲区。

但随后发生了这种情况:

fs.createWriteStream("rebuilt_" + fileName).write(Buffer.concat(resFromChunk).toString());

在该语句中，toString() 调用导致连接缓冲区中的字节被解释(或“解码”)为字符，然后在 write() 操作期间，这些字符被转换(或“编码”)回字节流，然后写入文件。解码和编码事件是根据程序区域设置的规则执行的，该区域设置可能是 UTF-8 区域设置。 UTF-8 是一种将 Unicode 字符与字节序列相互转换的方法。

如果缓冲区中的字节都可以按照 UTF-8 规则成功解码为字符，那就没问题了。当输入文件是文本文件(例如 .txt 或 .js 文件)时，很可能会出现这种情况。但是，当文件是非文本文件(通常称为“二进制”文件)时，文件中的某些字节序列可能不是合法的 UTF-8 字节序列，因此这些字节将无法转换为字符。几乎所有值大于十进制 127、十六进制 0x7F 的字节都会发生这种情况。您的 sample.png 是这些二进制文件之一，其中包含一些无法转换为字符的字节。

程序可以通过多种方式对不可翻译的字节使用react。例如，它可能会崩溃，它可能会默默地跳过这些字节，它可能会跳过它们并发出错误报告，它可能会在看到坏字节后停止翻译，它可能会产生一个完全空的字符串。在这种情况下，Node 会默默地将每个非法字节转换为生成字符串中的 Unicode 替换字符“�”。然后，当在 write() 操作期间将该字符串编码回字节时，每个替换字符都会根据 UTF-8 规则进行转换，并成为重建文件中的三字节序列 0xEF 0xBF 0xFD。

这就是为什么重建的文件比原始文件大的原因。原始文件中值大于 0x7F 的几乎每个字节都被重建文件中的三个字节替换。

解决这个问题很简单。只需摆脱该行中的 .toString() 调用，让您的程序将连接的缓冲区视为未解释的字节集合:

fs.createWriteStream("rebuilt_" + fileName).write(Buffer.concat(resFromChunk))