mysql - 大量 1kB 数据 block 的数据库(MySQL？)

Question

我有一个非常大的数据集，数据集中的每个项目的大小大约为 1kB。分布在网络上的许多应用程序需要快速查询数据。该数据集有超过一百万个项目(因此有 5 亿+ 1kB 数据 block )。

存储此数据集的最佳方法是什么(需要允许添加更多项目并快速读取它们，但绝不修改已添加的数据)？使用二进制 blob 格式的 MySQL 数据库是否合适？

或者这些都应该作为文件存储在文件系统上吗？

编辑:现在的数量是 100 万个项目，但需要能够轻松扩展到超过 5 亿个项目。

Answer 1

因为不需要索引对象内部的任何东西。我不得不说文件系统可能是你最好的选择，而不是关系数据库。由于只有一个唯一 ID 和一个 blob，这里实际上没有任何结构，因此将其放入数据库没有任何值(value)。

您可以使用网络服务器提供对存储库的访问。然后是像 nginx w/memcache 这样的缓存解决方案，将其全部保存在内存中并使用负载平衡进行横向扩展。

如果您遇到进一步的性能问题，您可以删除文件系统并推出自己的文件系统，就像 Facebook 对其照片系统所做的那样。这可以减少从文件系统中提取不需要的元数据(如安全信息)的不必要的 IO 操作。