apache - 批量导入 json 文档到 Apache CouchDb

Question

我有大约 250,000 个 JSON 格式的文件，每个文件中都有一个对象(格式是 CouchDB 喜欢它的 _id)。将这些作为记录导入远程 CouchDB 服务器的最佳方法是什么？

- 我在 Windows XP 机器上。

- 我可以访问互联网，但我无法在本地机器上设置 couchDB 服务器并使其可访问 WWW(防火墙限制)。所以不容易复制。

Answer 1

我强烈建议您查看 couchdb wiki 中的批量文档 API:http://wiki.apache.org/couchdb/HTTP_Bulk_Document_API

基本上，您向 /someDatabase/_bulk_docs 发出 POST 请求。看起来像这样:

{
  "docs": [
    { "_id": "awsdflasdfsadf", "foo": "bar" },
    { "_id": "cczsasdfwuhfas", "bwah": "there" },
    ...
  ]
}

就像任何其他 POST 请求一样，如果您不包含 _id 属性，couchdb 将为您生成它们。

您可以使用相同的操作来更新一堆文档:只需包含它们的 _rev 属性。如果您想删除正在更新的任何文档，请添加 "_deleted": true属性到文档。

如果您有一个包含文档的 json 文件并使用 curl，它可能如下所示:

curl -H "Content-Type: application/json" --data-binary @/home/xxx/data.json https://usr:pwd@host:5984/someDatabase/_bulk_docs/

干杯。