PHP Multi Curl curl_multi_select 减慢进程。另一种选择工作得更快但有缺陷？

Question

好吧，我不知道如何很好地表达这个问题。但我正在尽我所能使多 curl 脚本尽快运行。我的第一次尝试直接来自 PHP 文档...

do {
    $mrc = curl_multi_exec($this->multi_handle, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);

while ($active && $mrc == CURLM_OK) {
    if (curl_multi_select($this->multi_handle) != -1) {
        do {
            $mrc = curl_multi_exec($this->multi_handle, $active);
        } while ($mrc == CURLM_CALL_MULTI_PERFORM);
    }
    else
        return;
}

这非常慢。对于 100 个条目，大约需要 30 秒。起初我认为没有什么可以做的，但后来我尝试了我在互联网上找到的这个解决方案......

  while (($execrun = curl_multi_exec($this->multi_handle, $running)) ==                           CURLM_CALL_MULTI_PERFORM) {
    ;
  }
  if ($execrun != CURLM_OK) {
    break;
  }

这让我感到震惊，因为当我运行 100 个 url 时，它只用了不到 5 秒，并且所有数据都按计划存储在数据库中。但问题是，如果我通过它运行 500 个 url，它会开始丢失一些数据或从 url 复制数据。它仍然完成得非常快，但我不能有一个缺少信息的脚本。我已经在这个问题上搜索了数周。我有 PHP 5.5。我只是找不到一个解决方案让它像第二个解决方案一样快地工作，但又不能像第一个解决方案那样跳过任何数据。我彻底搜索了我的脚本，最终归结为这段代码。 curl_multi_select 只是循环并在开始下一个之前单独获取每个条目。第二种解决方案是我想要的速度而不是可靠性。

这是我正在使用的选项。它们是小写字母，但会正确添加到 setopt_array。

        ,'returntransfer'   => 1
        ,'followlocation'   => 1
        ,'maxredirs'        => 10
        ,'header'           => 0
        ,'post'             => false
        ,'timeout'          => 10
        ,'connecttimeout'   => 5
        ,'ipresolve'        => 'CURL_IPRESOLVE_V4'
        ,'httpheader'       => null
        ,'useragent'        => $_SERVER['HTTP_USER_AGENT']
        ,'encoding'         => ''
        ,'ssl_verifypeer'   => false
        ,'ssl_verifyhost'   => false

如果有任何建议或帮助，您可以给我加速 curl_mutli_select 或使第二个选项捕获跳过的 url 或重复的 url，那就太棒了。我可以根据要求提供其他信息。提前致谢。

所以另一个大问题是，第二个脚本中发生了什么让它运行得如此之快。显然，有一种方法可以让 multi curl 脚本变得非常快，因为它可以非常快速地遍历 100 个 url、获取内容、解析内容、将数据存储在表中。 php 文档版本只是被 curl_multi_select 搞得一团糟，但这似乎是确保每个请求都得到处理的关键。第二个版本以某种方式跳过了一些请求或重复请求。

Answer 1

好吧，我找到了一个适用于第二个示例的创可贴解决方案……并且每个 url 都被使用了。我有一个将请求保存在数组中的类。所以我所做的是……

        // Now grab the information about the completed requests
    while ($info = curl_multi_info_read($this->multi_handle)) {
        //
        // tons of stuff here that is not relevant to the fix

        if(curl_getinfo($ch, CURLINFO_HTTP_CODE) == 200)
        {
            call_user_func($callback, $content, $url, $ch, $user_data, $user_data);

            unset($this->outstanding_requests[$ch_array_key]);

            curl_multi_remove_handle($this->multi_handle, $ch);
        }
        else
        {
            //unset the outstanding request so it doesn't get stuck in a loop
            unset($this->outstanding_requests[$ch_array_key]);

            //these come back as 0's, so not found. Restart the request
            self::startRequest($url);   
        }
    }

所以解决方案是找到任何返回为 HTTP:0 的条目，然后重新启动它的请求。我现在遇到的唯一问题是，这会减慢速度。我可以在不到 7 秒的时间内完成 100 个请求，但是当我尝试 500 或 1000 个时，它会逐渐变慢。要弄清楚是什么原因造成的。如果您有任何提示，请告诉我。我跟踪内存使用情况，内存似乎不是问题，除非我在循环中遗漏了一些东西。