json - 从第三方到 Meteor 集合的 "mirror"JSON 数据的最佳方式

Question

我们有一个基于 Meteor 的系统，基本上从第三方 REST API 轮询数据，循环检索数据，将每条记录插入或更新到 Meteor 集合。

但后来我突然想到:当从第三方数据中删除条目时会发生什么？

• 有人会说插入/更新数据，然后遍历集合并找出哪个不在获取的数据中。没错，这是一种方法。

• 另一种方法是清除集合，并根据获取的数据重写所有内容。

但由于有数千个条目(目前有 1500 多条记录，可能会激增)，两者似乎都非常缓慢且占用 CPU。

将数据从 JS 对象镜像到 Meteor/Mongo 集合的最佳过程是什么，以便从数据中删除的项目也从集合中删除？。

_{我认为代码在这里无关紧要，因为这可能适用于可以完成类似壮举的其他语言。}

Answer 1

对于这种用法，请尝试使用更优化的东西。 meteor 人员正在致力于将 meteor 用作一种复制 mongodb 集来获取/设置数据。

目前，Smart-Collections 使用 mongodb 的 oplog 来显着提高性能。它可以在一种适合所有场景的情况下工作，而无需针对细节进行优化。有benchmarks显示这个。

当 Meteor 1.0 出来时，我认为他们会优化他们自己的 mongodb 驱动程序。

我认为这可能有助于数以千计的条目。如果您每秒更改数千个文档，则需要更接近 mongodb。 Meteor 采用了很多缓存技术，但这些技术对此并不是最佳选择。我认为它每 5 秒轮询一次数据库以刷新其缓存。

智能收藏:http://meteorhacks.com/introducing-smart-collections.html

请告诉我它是否有帮助我很想知道它在这种情况下是否有用。

如果这不起作用，redis 可能也会有所帮助，因为所有内容都存储在内存中。不确定你的用例是什么，但如果你不需要持久性，redis 会比 mongo 挤出更多的性能。