node.js - MongoDB 查找查询不返回所有值

Question

我有一个传感器值的 mongoDB 集合，我试图在其中查找集合中特定日期范围内的所有文档。我已阅读文档并实际实现了代码来查找所有数据。不过，我随后将所有文档写入 CSV 文件，以便可以从网络下载它们。我遇到的问题是，查询似乎正在查找正确日期范围内的所有数据(我已在服务器和客户端上打印了日期，并且两者都与正确的日期范围匹配)，但是，CSV 文件仅返回大约一半的数据(它从来都不一致)。例如，假设我正在查询我的集合以返回存储在以下位置之间的所有文档:

(2013 年 5 月 9 日星期四 07:57:06 GMT-0400)和(2013 年 5 月 14 日星期二 00:40:43 GMT-0400)

当我单击下载数据按钮时，它会向服务器发送请求以查找此范围内的所有文档，然后将文档流式传输到文本文件并将其返回给客户端。我将服务器和客户端上的日期打印到控制台，并且所有内容都匹配...所以我很确定 mongodb find 函数在其查询中使用了正确的日期。

但是，当我打开此查询的 CSV 文件时，它会提供从(2013 年 5 月 9 日星期四 07:57:15 -> 第一个日期条目 gte 到开始日期)的文档列表...但仅返回值到(2013 年 5 月 11 日星期六 01:04:09)。这大约是查询中缺失的三天数据。由于我的传感器每 8 秒将数据上传到集合中，因此有数千个条目。使用查找功能可以检索的文档数量是否存在某种数据限制？ CSV 文件有近 6,850 个条目(周四到周六)...但是为什么它不返回周四到周二之间的完整值列表？我检查了数据库，知道它在这个时间范围内一致地存储了数据......所以我认为这不是问题。有人有什么想法吗？

这是我的查找函数的代码:

collection.find({"addr": Number(json.addr), 
                 "Time": {$gte:new Date(json.startDate), 
                 $lte:new Date(json.endDate)}},
                 proj,
                 function (err, docs) 
                 {
                   if( err || !docs) console.log("No data found");
                   else 
                   {
                     var tempname=json.type+".csv";
                     var stream=fs.createWriteStream("pages/"+tempname);
                     stream.on('error', function(e){console.error(e);});

                     docs.each(function(err2, doc) 
                     {
                       if (!doc) 
                       {
                         console.log("done");
                         stream.end();
                         res.writeHead(200, {"Content-Type": "application/json"});
                         res.write(JSON.stringify({fname:tempname}));
                         res.end();
                         return;
                       }
                       stream.write(doc.Time+","+doc[json.type]+"\n");
                     });
                   }
                });

Answer 1

stream.write()当缓冲区已满时返回 false，因此您需要检查这一点。

另请参阅[Writing large files with Node.js]了解更多信息。