gpt4 book ai didi

javascript - 使 Node REST Client 期望 UTF-8 JSON 内容以避免 BOM 解析错误

转载 作者:行者123 更新时间:2023-11-30 19:31:28 25 4
gpt4 key购买 nike

我有一个 Node.js 应用程序,它使用 Node REST 客户端向服务器发出 HTTP GET 请求,目标是 JSON 格式的文件。当此文件以没有 BOM 的 UTF-8 编码时一切顺利。

但是,当目标文件编码为带 BOM 的 UTF-8 时,应用程序会在 client.get 调用期间崩溃。即使当我将该调用包装在 try/catch 中以试图防止崩溃并得到错误时,我也会得到这个堆栈跟踪:

events.js:188
throw err;
^

Error: Unhandled "error" event. (Error parsing response. response: [{}], error: [SyntaxError: Unexpected token in JSON at position 0])
at exports.Client.emit (events.js:186:19)
at C:\PFD\workspace\web_adherent\dev\eamnh-front\node_modules\node-rest-client\lib\node-rest-client.js:457:57
at Object.parse (C:\PFD\workspace\web_adherent\dev\eamnh-front\node_modules\node-rest-client\lib\nrc-parser-manager.js:140:17)
at ConnectManager.handleResponse (C:\PFD\workspace\web_adherent\dev\eamnh-front\node_modules\node-rest-client\lib\node-rest-client.js:538:32)
at ConnectManager.handleEnd (C:\PFD\workspace\web_adherent\dev\eamnh-front\node_modules\node-rest-client\lib\node-rest-client.js:531:18)
at IncomingMessage.<anonymous> (C:\PFD\workspace\web_adherent\dev\eamnh-front\node_modules\node-rest-client\lib\node-rest-client.js:678:34)
at emitNone (events.js:111:20)
at IncomingMessage.emit (events.js:208:7)
at endReadableNT (_stream_readable.js:1064:12)
at _combinedTickCallback (internal/process/next_tick.js:139:11)

IntelliJ 所做的代码块在这里没有显示的是 U+FEFF zero width no-break space Unicode code point ,在以下堆栈跟踪行中用 < X > 标记:Error: Unhandled "error" event. (Error parsing response. response: [< X >{}], error: [SyntaxError: Unexpected token < X > in JSON at position 0]) .所以似乎要发生的是 the Client is trying to read the file content as a Unicode encoded String ,而不是没有 BOM 的 UTF-8 JSON。所以它认为BOM是U+FEFF Unicode字符。

我搜索了 SO,发现了很多关于 setting mimetypes for the Client 的问题但我仍然得到错误。我还阅读了 node-rest-client 文档,似乎 setting a response parser将是要走的路,但滚动到 JSON 解析器 显示它与设置 mimetypes 是一样的。

所以我最终得到了这个:

const options ={
mimetypes:{
json:["application/json","application/json; charset=utf-8","application/json;charset=utf-8"]
}
};
const client = new Client(options);

尝试将字符集设置为 UTF-8 但错误相同。

有人知道我做错了什么或者这是 Node REST 客户端的问题吗?

感谢您的帮助。

-- 编辑这是我的 GET 请求函数代码:

let Client = require('node-rest-client').Client;

const options ={
mimetypes:{
json:["application/json","application/json; charset=utf-8","application/json;charset=utf-8"]
}
};
const client = new Client(options);

// Reads file contents and calls callback function with data
exports.readFromUrl = (req, fileUrl, callback) => {

client.get(fileUrl, (data, resp) => {

if (resp.statusCode === 200) {

callback(data);

} else {

callback("");
}
}).on('error', (err) => {

callback("");
});
};

最终解决方案:

以防万一有人因为类似的问题在这里绊倒,我最终用自定义解析器替换了 Node REST 客户端 JSON 解析器,该解析器过滤掉无效字符以将有效的 JSON 传递给回调。

我是这样做的(使用前面提到的文档)。

const Client = require('node-rest-client').Client;
const client = new Client();

// Remove existing regular parsers (otherwise JSON parser still gets called first)
client.parsers.clean();

client.parsers.add({
"name": "cleanInput",
"isDefault": false,
"match": function (response) {

// Match evey response to replace default parser
return true;
},
"parse": function (byteBuffer, nrcEventEmitter, parsedCallback) {

let parsedData = null;

try {

const cleanData = cleanString(byteBuffer.toString());

parsedData = JSON.parse(cleanData);
parsedData.parsed = true;

// Emit custom event
nrcEventEmitter('parsed', 'Data has been parsed ' + parsedData);

// Pass parsed data to client request method callback
parsedCallback(parsedData);

} catch(err) {

nrcEventEmitter('error', err);
}
}
});

// Only keeps unicode characters with codes lesser than 127 to avoid forbidden characters in JSON
function cleanString(input) {

let output = "";

for (let i=0; i < input.length; i++) {

if (input.charCodeAt(i) < 127) {

output += input.charAt(i);
}
}
return output;
}

最佳答案

https://stackoverflow.com/a/38036753/7316335

JSON 解析器被指定为接受字节顺序标记。

因此,您的服务器因“格式错误”的客户端 GET 请求而崩溃。

该问题应该在您的服务器处理 GET 请求时解决,而不是通过更改 JSON 解析器规范来解决。

我建议在服务器解析之前过滤所有 GET 请求中的字节顺序标记。

in express how multiple callback works in app.get

这向您展示了单个中间件如何在传递到该 GET 路径的实际回调之前执行 GET 正文的预过滤。

关于javascript - 使 Node REST Client 期望 UTF-8 JSON 内容以避免 BOM 解析错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56393110/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com