node.js - 如何在 node.js 中捕获 utf-8 解码错误？

Question

我刚刚发现 Node(测试:v0.8.23，当前 git:v0.11.3-pre)ignores any decoding errors在其缓冲区处理中，用 '\ufffd' (Unicode 替换字符)默默地替换任何非 utf8 字符，而不是抛出关于非 utf8 输入的异常。结果，fs.readFile、process.stdin.setEncoding 和 friend 们为你掩盖了一大类错误的输入错误。

不会失败但确实应该失败的示例:

> notValidUTF8 = new Buffer([ 128 ], 'binary')
<Buffer 80>
> decodedAsUTF8 = notValidUTF8.toString('utf8') // no exception thrown here!
'�'
> decodedAsUTF8 === '\ufffd'
true

'\ufffd' 是一个完全有效的字符，可以出现在合法的 utf8 中(作为序列 ef bf bd)，所以它对猴子来说不是微不足道的——基于结果中显示的错误处理补丁。

再深入一点，看起来这源于 Node 只是遵循 v8 的字符串，而这些字符串又具有上述行为，v8 没有任何外部世界充满外来编码数据。

是否有 Node 模块或其他方式可以让我捕捉 utf-8 解码错误，最好是在输入字符串或缓冲区中发现错误的上下文？

Answer 1

希望你解决了那些年的问题，我也遇到过类似的问题，最终用这个丑陋的伎俩解决了:

  function isValidUTF8(buf){
   return Buffer.compare(new Buffer(buf.toString(),'utf8') , buf) === 0;
  }

来回转换缓冲区并检查它是否保持不变。

“utf8”编码可以省略。

那么我们有:

> isValidUTF8(new Buffer('this is valid, 指事字 eè we hope','utf8'))
true
> isValidUTF8(new Buffer([128]))
false
> isValidUTF8(new Buffer('\ufffd'))
true

'\ufffd' 字符被正确地视为有效的 utf8。

更新:现在这也适用于 JXcore