PHP + MYSQL 存储url，应该使用什么列类型和策略

Question

对于网络爬虫，我将在一个表中存储超过 500 万个完整的 URL。我将需要经常检查该 url 是否不存在于表中。

哪种列类型和策略最适合提高性能？

• 带有 varchar 和索引的 url。

或者

• 带有散列(md5？)的第二个字符列并检查它。

或者完全不同的策略？

Answer 1

第二个选项。如果您需要检查 url 是否不存在，那么对 URL 的散列的 unique 约束是最佳方法。

md5，即使过时了，也适合您的用例，因为您有大约 500 万行，不太可能发生冲突。

对于列，使用 BINARY(16)。您可以将 UNHEX(MD5('your url here')); 存储到具有固定索引长度的 BINARY(16) 中。

md5 是 128 位，您不需要人类可读的表示形式，因此您可以保存“原始”二进制文件，这样可以将存储需求减半 - 因此 BINARY(16 ) 而不是 BINARY(32)。