json - 在 MongoDB 中存储 GB 的类 JSON 数据

Question

我正在使用 MongoDB，因为 Meteor 官方不支持其他任何东西。

主要目标是上传 CSV 文件，在 Meteor 中解析它们并将数据导入数据库。

插入的数据大小可以是每个文件 50-60GB 或更多，但由于文档大小限制，我什至无法插入任何大于 16MB 的数据。此外，即使是 1/10 的插入也会花费大量时间。

我在客户端使用 CollectionFS 上传 CSV 文件。因此，我也尝试对数据本身使用 CollectionFS，但它给了我一个“不受支持的数据”错误。

我该怎么办？

编辑:由于我的问题造成了对存储数据技术的混淆，我想澄清一些事情:我对上传 CSV 文件不感兴趣；我有兴趣将数据存储在文件中。我想在一个地方收集所有用户的数据，我想用最少的资源获取数据。

Answer 1

您可以将 csv 文件作为集合插入(文件名可以成为集合名称)，csv 的每一行作为一个文档。这将绕过每个文档大小限制 16 MB。您可能最终会得到很多集合，但这没关系。另一个集合可以跟踪文件名到集合名称的映射。