scripting - mysql优化查询执行

Question

作为正在进行的研究工作的一部分，我正在使用 cURL 命令检查 URL 是否存在。几天来我一直在执行一个 shell 脚本，它正在为我的数据库中的每个 URL 做一些更新。然而，脚本似乎一天只更新大约 100,000 行。

我在想，如果我可以先将值写入文件，然后进行更新，执行速度可能会更快。

我正在使用命令行连接到数据库。

mysql -h servername -u username -ppassword databasename "Update Query"

例如，我不是像上面那样从命令行连接到数据库 200 万次并更新 200 万行，而是计划从命令行仅连接到数据库一次并从文件更新 200 万行。

那么第二种方法是否比第一种更好，或者时间差异可以忽略不计？

Answer 1

三种方法。

你可以使用 load data infile

您可以构建一个包含您需要的所有更新的 .sql 文件。

您可以使用 CLI 以外的其他方式连接到 URL 和数据库。换句话说，不是使用“curl”和“mysql”命令，而是使用真正的编程语言和提供的库来检查 URL 和更新数据库。

其中任何一个都可能会更快。虽然您可能会通过并行进行 http 调用来提高速度。您可以使用真正的编程语言更轻松地做到这一点。