php - 批量检查http状态码，无需下载页面

Question

我的 mysql 数据库中有大约 10000 个 url。我想使用 php 检查这些页面是否存在。

关键是我不想浪费我的带宽。

是否可以只检查 http 状态代码？

这是我当前的 curl 代码？

$http = curl_init($url);
$result = curl_exec($http);
$http_status = curl_getinfo($http, CURLINFO_HTTP_CODE);
curl_close($http);
echo $http_status;

Answer 1

使用以下 cURL options制作 HEAD请求:

CURLOPT_HEADER => true,
CURLOPT_NOBODY => true,
CURLOPT_CUSTOMREQUEST => 'HEAD',

您还可以使用:

CURLOPT_FAILONERROR => true,

要有 curl_exec只要返回错误的 HTTP 代码，就返回 false。

如果您有 10,000 个 URL 并且这是一项重复性任务，您可能需要查看 curl_multi_*函数并以 4、8 或接近它的方式批量处理 URL。提速是显着的。