Node.js WriteStream 未知编码错误

Question

我已经创建了一个解析 NGinx 日志的模块，现在我正在编写一个使用它的命令工具。我的问题是我允许解析整个目录，这在读取然后解析方面不是问题，因为我有一个池可以读取和解析，但是，在命令行工具上，我允许以不同的格式重写日志，现在是 JSON，- 好吧，我将切入正题，我已经编写了这个 Writer 对象，它将保留所有 WriteStreams 的引用(wstreams[readFilePath](我知道我正在使用 readFilePath，这只是查找的关键)，并且还有通过模块公开对象 Parser.rstreams[readFilePath] 的所有读取流的全局引用

// creating a writer to handle the data buffering from the parser's readstreams
writer = {
wstreams: {},
append: function(data, wfile, rfile){
    console.log(JSON.stringify(this.wstreams[rfile]));
    if(this.wstreams[rfile] 
        && (this.wstreams[rfile].write(data, wfile) == false) // <-- crashing here 
        && parser.rstreams[rfile]
        && parser.rstreams[rfile].pause){
            console.log('Pausing: ' + rfile);
            parser.rstreams[rfile].pause();
    }
},
addStream: function(wfile, rfile){
    var wstream = fs.createWriteStream(wfile, {'flags': 'w', 'encoding':'utf8', 'mode': '0666'});
    console.log("stream added: " + wfile + " r: " + rfile);
    this.wstreams[rfile] = wstream;
    this.wstreams[rfile].on('drain', function(){
        if(parser.rstreams[rfile]
            && parser.rstreams[rfile].readable 
            && parser.rstreams[rfile].resume){
                console.log('Drained: ' + rfile);
                parser.rstreams[rfile].resume();
        }
    });
  }
}

当 writeStream 试图写入数据时，它抛出一个未知编码异常，这没有任何意义，因为它默认为 utf8，即使我通过可选编码，它也会做同样的事情，我试过 ut8， utf-8 和 ascii

{"path":"/Users/akhoury/code/rk/ginx/bin/here.json","fd":8,"writable":true,"flags":"w","encoding":"utf8","mode":"0666","bytesWritten":0,"busy":false,"_queue":[],"_events":{}}
[GINX][ERROR][uncaughtException] Error: Unknown encoding
[GINX-DEBUG] Exiting - 0 {file:cursor} record(s) stored in /Users/akhoury/code/rk/ginx/tmp/stored.cursors

/Users/akhoury/code/rk/ginx/lib/ginx.js:453
throw err;
      ^
Error: Unknown encoding
at Buffer.write (buffer.js:382:13)
at new Buffer (buffer.js:261:26)
at WriteStream.write (fs.js:1548:12)
at Object.writer.append (/Users/akhoury/code/rk/ginx/bin/ginx.js:95:38)
at /Users/akhoury/code/rk/ginx/bin/ginx.js:152:16
at Ginx.eval [as hardParseLine] (eval at generateParseLine (/Users/akhoury/code/rk/ginx/lib/ginx.js:59:21))
at streamData (/Users/akhoury/code/rk/ginx/lib/ginx.js:179:13)
at Ginx.parseFile.fs.stat.stream.on.streamEnd.cursor (/Users/akhoury/code/rk/ginx/lib/ginx.js:346:28)
at EventEmitter.emit (events.js:93:17)
at ReadStream._emitData (fs.js:1365:10)

我什至对流进行 JSON.stringify 以查看其中的内容，它看起来不错。

我查看了 buffer.js 的源代码，它没有意义，当编码不在允许列表中时，应该会发生该错误 https://github.com/joyent/node/blob/master/lib/buffer.js :50 岁

然后我有一个循环读取目录，如果是目录，然后写入。addStream(outputfile, inputfile)

if (stats.isDirectory()) {
fs.mkdir(output, function () {
    fs.readdir(input, function (err, files) {
        if (err) error(err);
        files.forEach(function (wfile) {
            wfile = path.join(output, file);
            rfile = path.join(input, file);
            console.log("W:"+ wfile + " R: " + rfile);
            //prepend the JSON openings for each new file before we go on.
            if (isNewFile(rfile)) {
                fs.writeFileSync(wfile, "{[", 'utf8');
            }
            writer.addStream(wfile, rfile); // <-- adding the stream to writer here
        });
        processDirectory(input, output);
    });
});
} else if (stats.isFile()) {
if (isNewFile(input)) {
    fs.writeFile(output, "{[", 'utf8', function () {
        writer.addStream(output, input);
        processFile(input, output);
    });
} else {
    writer.addStream(output, input);
    processFile(input, output);
  }
}

然后在 processFile 和 processDirectory 中，每次我收到一个 rowCallback，这意味着一行已经被解析，我使用 writer.append

// process file parsing to JSON output
function processFile(input, ouput) {
parser.parseFile(input,

function (err, row) {
    if (err) error(err);
    writer.append(ifLastRow(row), output, row.__file);
},

function (err, rfile) {
    if (err) error(err);
    //close the JSON array
    writer.append("]}", output, file);
});

// process directory parsing to JSON outputs
function processDirectory(input, output) {
parser.parseDir(input,

function (err, row) {
    if (err) error(err);
    var fname = row.__fname;
    writer.append(ifLastRow(row), path.join(output, fname), row.__file);
},

function (err, rfile) {
    if (err) error(err);
    var wfile = path.join(output, rfile.substring(rfile.lastIndexOf(path.sep) + 1));
    //close the JSON array
    writer.append("]}", wfile, rfile);
},

function (err, filesCount) {
    if (err) error(err);
 });
}

谁能看出我在这里做错了什么？我是否以错误的方式创建流？

我知道需要阅读的内容很多，但我不想过于笼统。谢谢。

Answer 1

问题是您将文件名作为第二个参数传递给 stream.write() ，但是 .write() 的第二个参数是一个可选的编码(参见前面的链接)。

错误是因为它试图将文件名用作编码，这是一种未知编码。如果data是一个buffer，那么让它根据buffer来决定编码。

写入流与文件相关联，因此您无需在每次写入时传递文件名。尝试更改:

    && (this.wstreams[rfile].write(data, wfile) == false)

收件人:

    && (this.wstreams[rfile].write(data) == false)