database - 将文件索引到数据库

Question

我需要将大量文件和文件夹索引到数据库中。每个工作站大约有 1000 个文件/文件夹，大约有 100 个工作站。

我会不断地将这些文件同步到数据库，所以我需要能够快速查询数据库以查看文件是否已经在数据库中。我正在考虑使用 MD5 散列文件的完整路径并在数据库中索引该散列字段。这是正确的方法吗？给定 1-1000 万条记录会发生哈希冲突吗？

我可以选择 MySQL 或 MongoDB，我倾向于 MongoDB，你同意吗？

Answer 1

MySQL 使用的标准 B+ 树索引可以满足您的目的，只需确保您使用的是 InnoDB 而不是 MyISAM 以避免全局写锁。

如果您担心冲突，请调查已知不会发生冲突的散列机制 - 尝试 MurmurHash或 SHA 变体。