- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
所以我正在处理大约 3000 个链接,我正在使用curl_multi 来加速这个过程。我一次使用了 20 个简单的进程,等待所有 20 个完成,再处理 20 个以上类型的方法,但我知道这是低效的,特别是如果这 20 个链接之一需要永远下载的话。因此,我需要知道如何编写一个循环,通过在从该 url 获取内容后立即添加/删除句柄来遍历所有 3000 个链接。
我正在使用其中一些基础知识:
define('RUNATONCE', 20); // Links to process at a time
// My URL holding multi-dimensional array:
// This first dimension is about 1000 and the second dimension is 3
$allurls[0][0];
我需要能够:
1) 检查句柄何时完成,并了解该句柄属于我的多维数组中的哪个 url
2) 检索该句柄的内容,并根据该句柄的内容是否属于 $allurls[0][0],$allurls[0][1]
的一部分来分配一个进程,或者$allurls[0][2]
(每个过程都有不同的过程)
3) 删除该句柄并从 $allurls
添加另一个 URL,直到处理完所有链接
4) 对任何花费超过一定时间(例如 2 分钟)的 URL 进行手动超时处理(因为 CURLOPT_CONNECTTIMEOUT
和 CURLOPT_TIMEOUT
不起作用正确地在curl_multi环境中(或者至少这是我基于http://curl.haxx.se/mail/curlphp-2008-06/0006.html的经验和理解)),但我还需要在我的$allurls
中知道该URL是否超时...
我知道这看起来有点工作,但对于知道这一点的人来说,这不应该是那么多工作...我只是不太知道如何做到这一点的具体细节...谢谢。
最佳答案
我遇到过类似的情况,我需要验证某些 URL,我找到的两个解决方案是首先使用 pcntl 让 PHP fork 一个新进程。如果它已安装或者(这很丑陋,但不幸的是我已经解决了,因为服务器上没有安装 pcntl)使用 AJAX 来请求验证 URL 的 PHP 页面。我将超时设置为 30 秒,所以即使某些事情花费很长时间也没关系。
关于PHP CURL_Multi 检查已完成句柄的状态、删除、添加、超时,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6990301/
wait() 和 wait(timeout) 之间有什么区别。无论如何 wait() 需要等待通知调用,但为什么我们有 wait(timeout)? 那么 sleep(timeout) 和 wait(
如何向以下脚本添加超时?我希望它将文本显示为“超时”。 var bustcachevar = 1 //bust potential caching of external pages after in
我正在使用 Firebase once() 方法来检索 React Native 移动应用中的值。问题是,如果手机离线,once() 永远不会返回。文档说 ref.off() 方法应该取消回调,但这似
我在一个表中有一个大型数据集(超过 200 万行,每行超过 100 列),存储在 cassandra 中,几个月前(也许是 2 个月?)我能够执行一个简单的命令来跟踪该表中的记录数量: SELECT
我使用 jquery 开发移动应用程序,下面是我的代码,当我向包含的页面添加 5 或 6 行时,一切正常。但如果我添加多行显示错误消息:Javascript 执行超时。 function succes
我正在使用一个 javascript 确认,它将在 15 分钟后重复调用。如果用户未选择确认框中的任何选项我会在等待 1 分钟后重定向他。如何实现这一目标?我的代码是这样的 var timeo
每次我在沙箱环境中运行这段代码时,我都会超时并最终崩溃。我已经通过多个 IDE 运行它,但仍然找不到任何语法错误。如果有人看到了我没有看到的东西,我将非常感谢您的意见。 //assign variab
更新联系人后我会显示一条消息,1500 毫秒后我会转到另一个页面。我是这样做的: onSubmit() { if (this.form.valid) {
从昨天开始,我拼命尝试使用最新版本的 PHPMailer 运行一个非常简单的电子邮件脚本。 最荒谬的是,同一个脚本在两台服务器上不起作用,但在另一台服务器上却起作用。 这是我的尝试(来自 PHPMai
我已阅读以下 2 篇文章并尝试实现相同的文章。 我的代码是这样的,超时发生在这里 HttpWebRequest wr = (HttpWebRequest)WebRequest.Create(url);
我正在尝试连接到 wsdl 服务, 但收到此错误: wsdl 错误:获取 http://api.didww.com/api/?wsdl - HTTP 错误: header 的套接字读取超时 本地没有问
我在使用 Ansible 的 CentOs7 实例上从 Artifactory 下载 jar 文件时遇到问题。这是我第一次在 Linux 实例上这样做。 我在每个 Windows 实例上都使用了 wi
在过去的两天里,我一直在寻找原因,我在互联网上和堆栈上尝试了很多解决方案。 我有一个带有 ubuntu 16.04 和 apache2 的专用 VM -> 服务器版本:Apache/2.4.18 (U
我正处于构建 PHP 应用程序的早期阶段,其中一部分涉及使用 file_get_contents()从远程服务器获取大文件并将它们传输给用户。例如,要获取的目标文件是 200 mB。 如果下载到服务器
我正在尝试连接到本地网络内的路由器。到目前为止,我已经使用了 TcpClient。 检查我的代码: public static void RouterConnect() {
我正在尝试构建一段代码来搜索使用 Mechanize 和 Ruby 超时的页面。我的测试台包括一个专门写入超时的页面,以及 3 个正常运行的页面。这是代码: urls = ['http://examp
我是 python 的新手,也是语义网查询领域的新手。我正在使用 SPARQLWrapper 库查询 dbpedia,我搜索了库文档但未能找到从 sparqlWrapper 触发到 dbpedia 的
我正在从 GenServer 中的句柄信息功能调用 elixir genserver 以添加电话号码获取表单客户端。但是一旦调用了handle_call,所有者进程就会崩溃[超时]。请帮忙。 全局创建
假设我的 WCF 服务中有以下执行链: ServiceMethod 调用并等待 Method1,然后调用并等待 Method2,后者调用并等待 Method3。最后 ServiceMethod 在返回
目前我正在开发一个从远程服务器发送和接收文件的应用程序。为了进行网络操作,我正在使用 QNetworkAccessManager。 要上传文件,我使用 QNetworkAccessManager::p
我是一名优秀的程序员,十分优秀!