ruby-on-rails - 将大 json 文件存储在数据库中的最佳方式(postgres 或 mongo)

Question

我想下载一些JSON格式的开放数据(地理数据)。
可下载文件以 bz2 格式存档，大小约为 430 Mb。解压后 json 文件的重量约为 3.2 Gb。

还有机会下载单个区域对应的部分数据(共100个)。在这种情况下，每个文件的重量约为 4 Mb，一旦解压缩，就会得到一个 24 Mb 的 json 文件。

我计划在 Rails 应用程序中使用这些数据(目前使用的是 postgres 数据库)。

由于数据以 JSON 格式提供，我考虑将 mongodb 数据库与我的 postgres 数据库集成。
但我不知道 mongodb 是否能够加载这么大的文件，例如。使用 mongoimport。
我听说过 8 或 16 Mb 的文档大小限制。但是这个限制是对应于文件的单个“行”还是文件对应于整个文档？

在后一种情况下，即使使用部分文件，也无法使用 mongodb，对吗？
但是因为我也听说过 mongoid 是“慢”的，所以我想知道将这些数据“加载”到 postgres 本身、它自己的表(甚至它自己的数据库)中是否会更好。
如果可以，我该如何加载这些数据？
我考虑使用纯 Ruby 逐行读取文件并在 seed.rb 文件中填充数据库。 (我知道这可能需要很长时间)

谁能告诉我在我的情况下什么是最好的选择？

---

一些注意事项:
我没有任何限制。
我正在使用 docker 容器。
这些数据将是只读的，以便为主应用程序中的某些字段提供自动完成功能。
我计划每周左右从新下载的文件中更新数据。

编辑:我感兴趣的“字段”(我的意思是 JSON 文件的键)是可以包含多个单词的字符串(即空格分隔的字符串)。
最终我想在单词的开头进行最快的查找搜索(可能在字符串的中间)。
根据 mongodb 和 postgres 提供的索引可能性，可能会限制选择。
对于 postgres，我可以将这些数据存储在字符串字段中，甚至可以“按原样”存储在 JSONB 字段中，以提供最快的索引。

Answer 1

你可以尝试使用 JSON::Stream这最适合无法放入内存的大型 JSON 文档。

或者尝试实现这个YAJL C Bindings for Ruby

希望有所帮助