c# - 尝试在 540 万条记录中查找一条记录时，如何提高 varchar(400) 的查询性能

Question

我正在编写 WebCrawler，它将获取一个特定网站上的所有本地站点链接。这个过程是识别哪些链接是产品并将它们输入我的价格比较软件。

我发现的问题是，我现在对 540 万个链接的网站进行了不完整的抓取。当以这些数字运行时，将收集到的链接存储在哈希集中的内存中，然后将它们保存到纯文本文件中是可以证明的。哈希集正在消耗内存，而我只有大约 5gigs 的运行内存。

每次获取一个新的链接，我都需要检查它之前是否被捕获过。因此 hashset 似乎是进行这种比较的最快方法。由于内存问题，以及我的文本文件大小超过 1.5gig，我认为切换到数据库 – MySQL56 会更好。我在 window 7 64bit 上以开发者模式运行。

我已经迁移了在 mysql56 数据库中捕获的所有数据，使用“LOAD DATA LOCAL INFILE”，这似乎工作得很好，但 URL 列只是一个 varchar(400)。

我现在遇到的问题是，查询 url 是否存在于表中大约需要 10-15 秒。有什么方法可以显着提高这种性能。

我确实尝试过将字段设置为唯一(字段限制较小)，但在这样做时，数据库在加载包含 540 万条记录的文件中的数据时似乎没有响应。

我目前正在使用 SQLconnector 使用 C# 进行开发。

我想知道的是，我能否提高这个文本字段的性能，是否有任何替代方法来存储和查询这些数据。

谢谢

Answer 1

您可以考虑在 MySQL 中使用分区和您的表结构。 http://dev.mysql.com/doc/refman/5.5/en/partitioning-types.html

您提到尝试将所有数据都存储在内存中，但它太多了。您可以在数据库前面放置一个内存缓存以获得一些性能。 memcached 或者我认为 MySQL 现在有自己的一种。