php - php 中的 cron 作业命中 100 多个动态 url 以缓存页面

Question

我们使用后端专有数据库向我们网站上的 100 多个动态页面提供数据。 URL 的格式为 www.example.com/blah?id=1、www.example.com/blah?id=2 等。由于数据检索速度太慢，这些页面最多可能需要 5 秒才能加载(因为我们正在连接的数据库)。

我的目标是编写一个 cron 作业(用 PHP)，它将“循环”并向我们所有的动态页面发出请求，以便它们被缓存(我们为这些页面提供 24 小时缓存)。

我最好的方法是使用嵌入了“wget”命令并忽略输出的 PHP 脚本吗？如果愿意，我可以访问 cURL。编写将访问 100 个 URL 的脚本只是为了缓存页面是否存在性能问题？我们当然会在夜间非高峰时段运行。

感谢您对此的任何指导!

Answer 1

我建议使用 multi-cURL 来完成这项工作。这样，您的请求将彼此并行运行。

您可以使用 built-in PHP functions 来做到这一点，但我建议使用包装它们的众多类之一:

https://github.com/jmathai/php-multi-curl

http://curl.haxx.se/libcurl/php/examples/multi.html