文档更新前的 CouchDB 附件操作

Question

我需要转换附加到每个文档的图像(实际上需要将图像缩小到 400px 宽度)。实现这一目标的最佳方法是什么？正在考虑让 nodejs 代码监听 _changes 并对文档保存执行必要的操作。但是，这有很多缺点:
a) 文档更改并不总是意味着添加了新附件
b)我们一直在处理已经缩小的图像(至少检查图像宽度)

Answer 1

我认为您基本上在数据库中有一些数据，您的大部分问题只是应用程序逻辑和实现。我可以想象使用 Drizzle 的应用程序的需求列表非常相似。无论如何，您的应用程序如何“切入正题”并利用 CouchDB 的优势？

一个 Node.js _changes listener 听起来是一个很好的起点。 Node.js 有很多炒作和愚蠢的争论。但是为了从 CouchDB 接收“待办事项列表”并同时执行该列表，Node.js 是理想的选择。

内存

我立即认为文档中的图像元数据会对您有所帮助。获取图像并检查它是否为 400 像素可能会很昂贵。如果您能指出"shrunk":true或 "width":400或文档中的类似内容，您会立即知道跳过该文档。 (这是一项优化，您可以在项目的早期阶段跳过它。)

但是如何使元数据与图像保持同步？以后可能有人会附上大图，元数据还是显示"shrunk":true .一种答案是验证功能。 validate_doc_update()有权检查旧的和新的(候选)文档版本。如果不满意，可以throw()防止更改的异常。因此，它可以通过以下几种方式强制执行您的政策:

任何时候附加新图像，"shrunk" key 也必须删除

或者，您的外部 Node.js 工具有一个专用用户名来访问 CouchDB。文档绝不能设置 "shrunk":true除非用户是你的工具

另一个值得研究的想法是，而不是设置 "shrunk":true ，您将其设置为图像的 MD5 校验和。 (这已经在文档中，在 ._attachments 对象中。)所以如果你的 Node.js 工具看到这个文档，它就知道它有工作要做。

{ "_id": "a_doc"
, "shrunk": "md5-D2yx50i1wwF37YAtZYhy4Q=="
, "_attachments":
  { "an_image.png":
    { "content_type":"image/png"
    , "revpos": 1
    , "digest": "md5-55LMUZwLfzmiKDySOGNiBg=="
    }
  }
}

换句话说:

if(doc.shrunk == doc._attachments["an_image.png"].digest)
  console.log("This doc is fine")
else
  console.log("Uh oh, I need to check %s and maybe shrink the image", doc._id)

执行

我有偏见，因为我写了以下工具。但是我已经成功了，其他人也报告说使用 Node.js 包成功了 关注 _changes事件: https://github.com/iriscouch/follow

然后在 CouchDB 文档中使用 Txn 进行 ACID 事务: https://github.com/iriscouch/txn

图案是，

运行 follow()在 _changes URL 上，可能带有 "include_docs":true在选项中。

对于每个更改，确定它是否需要工作。如果是，则执行一个函数来进行必要的更改，然后让 txn()负责获取和更新，如果出现临时错误，可能会重试。

例如，Txn 可以帮助您原子地调整图像大小并更新元数据，非常容易。

最后，如果您的程序崩溃，您可能会获取大量您已经处理过的文档。这可能没问题(如果您的元数据可以正常工作)；但是，您可能希望偶尔记录一个检查点。记住你看到了哪些变化。

var db = "http://localhost:5984/my_db"
var checkpoint = get_the_checkpoint_somehow() // Synchronous, for simplicity

follow({"db":db, "since":checkpoint}, function(er, change) {
  if(change.seq % 100 == 0)
    store_the_checkpoint_somehow(change.seq) // Another synchronous call
})

工作队列

再次，我很尴尬地指出我自己的所有工具。但图像处理是工作队列情况的典型例子。每个需要工作的文档都放在队列中。无限的、有弹性的 worker 大军接收工作，修复文档，并将工作标记为已完成(已删除)。

我自己经常使用它，这就是我制作 CQS，CouchDB 队列系统的原因: https://github.com/iriscouch/cqs

它适用于 Node.js，与 Amazon SQS 相同，只是它使用您自己的 CouchDB 服务器。如果您已经在使用 CouchDB，那么 CQS 可能会简化您的项目。