json - nodejs - 解析分块的 twitter json

Question

nodejs 服务器从 Twitter“获取”这个 JSON 流并将其发送到客户端:

stream.twitter.com/1/statuses/filter.json?track=gadget

返回给客户端的数据是“分块”JSON，客户端的 JSON.parse(chunk) 和 eval('(' + chunk + ')') 都会导致解析错误。连接被丢弃的片段并等待“结束”事件也不是解决方案

我注意到以前的示例在客户端使用了类似这样的东西，显然以前有效:

  socket.onmessage = function(chunk) { 
  data = eval("(" + chunk.data + ")");
  alert(data.user.screen_name);

我在客户端使用它并导致解析错误:

var socket = new io.Socket();
    socket.on('message', function(chunk) { 
    var data = eval('(' + chunk + ')'); // parsing error
    alert(data.screen_name): 

我知道它成功返回了一个 JSON block :

  var socket = new io.Socket();
        socket.on('message', function(chunk) {  
        alert(chunk): // shows a JSON chunk

服务器:

  response.on('data', function (chunk) {
    client.each(function(e) {
      e.send(chunk);  
  });  

是有什么变化还是我做错了什么？

更新:“结束”事件不会触发，因为它是流式传输？

http.get({
  headers: { 'content-type': 'application/json' },
  host: 'stream.twitter.com',
  path: '/1/statuses/filter.json?track...
}, function(res) {

  res.setEncoding('utf8');
  res.on('data', function (chunk) {
    client.each(function(e) {
      e.send(chunk);  
  });  
 });

  // does not fire
  res.on('end', function () {

  });  

...

我正在研究 http 1.0 和 http 1.1 在发送分块数据方面的区别。

Answer 1

查看标题为 Parsing Responses 的部分在 Twitter 的文档中。

Parsing JSON responses from the Streaming API is simple every object is returned on its own line, and ends with a carriage return. Newline characters (\n) may occur in object elements (the text element of a status object, for example), but carriage returns (\r) should not.

在服务器端，不断累积 block ，直到看到回车"\r"。找到回车符后，将字符串提取到回车符，这会为我们提供一条推文。

var message = ""; // variable that collects chunks
var tweetSeparator = "\r";

res.on('data', function(chunk) {
    message += chunk;

    var tweetSeparatorIndex = message.indexOf(tweetSeparator);
    var didFindTweet = tweetSeparatorIndex != -1;

    if (didFindTweet) {
        var tweet = message.slice(0, tweetSeparatorIndex);
        clients.forEach(function(client) {
            client.send(tweet);
        });
        message = message.slice(tweetSeparatorIndex + 1);
    }
});

客户端变得简单。只需将套接字消息完整解析为 JSON。

socket.on('message', function(data) {
    var tweet = JSON.parse(data);
});