文档大小超过 16mb 的 MongoDB 解决方法？

Question

我正在处理的 MongoDB 集合从手机获取传感器数据，并每隔 2-6 秒将其发送到服务器。

数据很大，4-5 小时后超过 16mb 的限制，似乎没有任何解决办法？

我曾尝试在 Stack Overflow 上搜索它并回答了各种问题，但实际上没有人分享他们的技巧。

有没有什么办法......在数据库方面，可能会像通过 gridFS 对大文件所做的那样分发 block ？

Answer 1

要解决此问题，您需要对数据结构进行一些小的修改。听起来，要使您的文档超过 16mb 的限制，您必须将传感器数据嵌入到单个文档中的数组中。

我不建议在这里使用 GridFS，我不认为它是最好的解决方案，原因如下。

您可以使用一种称为分桶的技术，它基本上会将您的传感器读数拆分到单独的文档中，从而为您解决这个问题。

它的工作方式是这样的:

假设我有一份文档，其中包含特定传感器的一些嵌入式读数，如下所示:

{
    _id : ObjectId("xxx"),
    sensor : "SensorName1",
    readings : [
        { date : ISODate("..."), reading : "xxx" },
        { date : ISODate("..."), reading : "xxx" },
        { date : ISODate("..."), reading : "xxx" }
    ]
}

对于上面的结构，已经存在一个重大缺陷，读数数组可能呈指数增长，并超过 16mb 文档限制。

所以我们可以做的是稍微改变结构，使其看起来像这样，以包含一个计数属性:

{
    _id : ObjectId("xxx"),
    sensor : "SensorName1",
    readings : [
        { date : ISODate("..."), reading : "xxx" },
        { date : ISODate("..."), reading : "xxx" },
        { date : ISODate("..."), reading : "xxx" }
    ],
    count : 3
}

这背后的想法是，当您将读数 $push 到嵌入式数组中时，您会为每次执行的推送递增 ($inc) 计数变量。当您执行此更新(推送)操作时，您将在此“计数”属性上包含一个过滤器，它可能看起来像这样:

{ count : { $lt : 500} }

然后，设置您的更新选项，以便您可以将“upsert”设置为“true”:

db.sensorReadings.update(
    { name: "SensorName1", count { $lt : 500} },
    {
        //Your update. $push your reading and $inc your count
        $push: { readings: [ReadingDocumentToPush] }, 
        $inc: { count: 1 }
    },
    { upsert: true }
)

有关 MongoDb 更新和 Upsert 选项的更多信息，请参见此处:

MongoDB update documentation

当过滤条件不满足时会发生什么(即，当此传感器没有现有文档时，或者计数大于或等于 500 - 因为每次推送项目时都会递增它) ，将创建一个新文档，读数现在将嵌入到这个新文档中。因此，如果您正确执行此操作，您将永远不会达到 16mb 的限制。

现在，当查询数据库以获取特定传感器的读数时，您可能会得到该传感器的多个文档(而不是只有一个包含所有读数的文档)，例如，如果您有 10,000 个读数，您将得到返回 20 个文件，每个文件有 500 个读数。

然后您可以使用聚合管道和 $unwind 来过滤您的阅读，就好像它们是他们自己的个人文档一样。

关于unwind的更多信息看这里，很有用

MongoDB Unwind

希望对您有所帮助。