database - 如何高效存储数十万文档？

Question

我正在开发一个需要存储大量文档(PDF、Word 文件等)的系统。我正在使用 Solr/Lucene 来搜索从这些文档中提取的相关信息，但我还需要一个地方来存储存储原始文件，以便用户可以打开/下载它们。

我在想几种可能:

• 文件系统 - 可能不是存储 100 万文档的好主意
• sql 数据库 - 但我不需要它的大部分关系功能，因为我只需要存储二进制文档及其 ID，所以这可能不是最快的解决方案
• 非 sql 数据库 - 对它们没有任何经验，所以我也不确定它们是否好用，它们也有很多，所以我不知道该选择哪个

我正在寻找的存储应该是:

• 快
• 可扩展
• 开源(不重要但很高兴)

您能否推荐您认为存储这些文件的最佳方式是什么？

Answer 1

文件系统——顾名思义——被设计和优化为以高效和可扩展的方式存储大量文件。