database - couchdb 是否适用于多个服务器上带有文件附件的大量文档？

Question

我很想听听您对 couchdb 的看法，它能否处理我的用例。

我将要做的是，我将拥有一个数据库，其中存储大小约为 20kb 的文档，每个文档的附件为 1-10MB。

1. couch 会使用我的模式为每个服务器处理 10TB 或更多的数据库吗？(在 4u 的情况下，您可以放置​​ 24 个 2TB 驱动器，每个 couch 节点太多了吗？，读取会非常少，所以我下来需要速度)

2. 能否复制所有带附件的文档

3. 如何将所有数据拆分到多个服务器(例如拆分到 4 个节点)？它能处理那么多附件吗？

你在这里看到了什么问题？

需要更多信息请询问:)

Answer 1

我不认为您会遇到 10TB 文件的物理限制，也就是说，我不认为 couch 有一些内置的“不能使用大于 X 的文件”，因为 X < 10TB。

但是。

最大的问题是文件压缩。为了回收空间，Couch 想要压缩文件。这实际上意味着复制文件。因此，至少在某些时候，10TB 需要 20TB，因为它会复制新副本中的实时数据。

如果你主要是附加到文件，也就是说你只是添加新数据而不是更新或覆盖旧数据，那么这将不是一个问题，因为压缩不会给你带来太多好处。如果您的数据基本上是静态的，那么我会构建文件并最后一次压缩它并完成它。

Couch 有“第 3 方”分片解决方案，Lounge 很受欢迎。

当我使用沙发解决方案时，首先要考虑的是您的查询条件。沙发就是风景，真的。你在看什么样的观点？如果您只是通过一些简单的键(文件名、日期或其他)存储数据，坦率地说，您最好只使用文件系统和适当的目录结构。

所以我想听听更多关于您打算使用的观点，因为您不打算进行大量阅读。

附录:

您还没有提到您正在寻找什么样的查询。实际上，查询是设计组件，尤其是对于 Couch DB，因为在大型数据集上添加新查询变得越来越困难。

当您说附件时，我假设您指的是 Couch DB 负载的附件(因为它可以处理附件)。

因此，综上所述，您可以轻松创建元数据文档来捕获您想要捕获的所有信息，并作为该文档的一部分向存储在文件系统上的实际文件添加路径名。这将显着减小 Couch 文件的整体大小，从而使维护更快、更高效。当然，您失去了将所有内容都放在一个文档中的一些“自包含”部分。