database - 用于存储大文件的数据库的最佳技术

Question

我有兴趣寻找可以帮助我构建一个程序来执行此操作的候选软件:

• 简单的键值存储，键是哈希，值是一个可能很大的文件(10-100mb。总数据集可以轻松运行到 200gb 及以上)
• 请求量非常低。可能每小时 1000 次，可能更少
• 读取比写入多 2 到 5 倍
• 自动删除一段时间未查询的数据以控制磁盘空间
• 系统丢失数据是正常的。
• 易于安装/很少依赖/易于制作 xplatform

像 Redis 和 MongoDB 这样的软件看起来很有趣，但它们似乎也在努力解决每秒高效处理许多请求的问题，通常为网站提供动力。我根本没有要求。

我想知道您是否知道可以更好地解决我要解决的特定问题的工具。

Answer 1

根据您的要求，最简单的解决方案是使用文件系统来存储您的数据。使用散列键作为文件名。

查找会很高效，数据会自动缓存在内存中。

如果您的文件系统支持，您可以根据每个文件的最后访问时间进行定期清理。