java - CouchDB数据复制

Question

我在 CouchDB 中存储了 30 GB 的 Twitter 数据。我的目标是用java处理每条推文，但是java程序无法一次保存这么大的数据。为了处理整个数据集，我计划借助 CouchDb 支持的过滤复制将整个数据集分成更小的数据集。但是，由于我是 couchDB 的新手，因此我在这样做时遇到了很多问题。欢迎任何更好的想法。谢谢。

Answer 1

您始终可以在 couchdb 中查询对于您的 java 程序而言足够小的数据集，因此没有理由将子集复制到较小的数据库。请参阅this stackoverflow answer一种从 couchdb 获取分页结果的方法。您甚至可以使用 couchdb 本身来进行 map/reduce 处理，但这取决于您的问题。