php - cURL 有时会为有效的 URL 返回空白字符串

Question

作为计划任务的一部分，我正在使用 rolling-curl [https://github.com/LionsAd/rolling-curl] 库从大量网络资源中异步检索内容。该库允许您设置并发 CURL 连接的最大数量，我从 20 开始，但后来增加到 50 以提高速度。

似乎每次我运行它时，正在处理的数千个任意 url 中的任意 url 都会失败并返回一个空字符串。似乎我拥有的并发连接越多，我收到的失败请求就越多。下一次我尝试运行该函数时，一次失败的相同 url 可能会起作用。是什么导致了这种情况，我该如何避免？

Answer 1

Luc Franken 写的所有内容都是准确的，他的回答让我找到了我对提问者问题的解决方案，即:

远程服务器根据自己的高度可变的时间表做出响应。为了给他们足够的时间来响应，设置两个 cURL 参数以提供充足的时间很重要。它们是:

    CURLOPT_CONNECTTIMEOUT => 30
    CURLOPT_TIMEOUT => 30

您可以尝试更长或更短的时间，直到找到可以最大限度减少错误的方法。但是，如果您在使用 curl/multi-curl/rollingcurl 时遇到间歇性无响应，您可能可以通过这种方式解决大部分问题。