- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我需要在 PHP 中使用 cURL 向 API 发出数千 cURL 请求。我目前的计划是与 curl_multi_() 函数并行执行这些操作。基本上是一次并行执行所有数千个 cURL 请求。
我听说打开太多句柄可能会遇到内存问题,这可能会遇到 fatal error 。如何避免这种情况并尽可能快地发出我的 URL 请求?
如果我需要限制一次发出的 cURL 请求的数量,将限制设置为多少比较好?
背景:我现在正在与 Godaddy 共享主机,它可以很好地处理 cURL 请求,但我还没有用数千个并行请求对其进行测试。以后我会在 Rackspace Cloud Site 上可以处理适度的负载。
如此庞大的 cURL 请求数量是每年一次,而不是日常网站运营的一部分。
最佳答案
这听起来像是一个架构问题。为什么需要同时发出数千个请求?这种并行机制是否有任何好处,或者您是否会不小心 DOS(拒绝服务)一些可疑的 Web 服务/API?
假设您没有攻击单个远程服务器,您仍然需要担心本地机器可以处理多少个连接。您可以使用传出端口的数量有限,而且数量少则数万个。如果您疯狂地打开连接,那么达到这个限制并不难。任何使用 apachebench 进行过度负载测试的人都知道这一点。
对于这类事情,PHP 不是一个很好的工具——我是一个 90% 都在用 PHP 的人。没有线程,而且它是内存密集型的。如果你想并行运行 1000 个 PHP 进程,你将需要不止一台机器。您的典型 PHP 进程将消耗大约 10-20 兆内存,除非您彻底调整它(可能在编译时)。
你说这种情况每年发生一次。这让我觉得可能没有必要那么平行。如果您只有 24 或 36 个并行进程怎么办?
也就是说,这就是我可能采用的方法。 PHP 可能会很好地工作,如果您遇到内存效率低下的问题,您可以只换掉一部分。您需要两个或多或少的异步队列,以及一对处理它们的进程:
“获取队列”- 需要发出的 HTTP 请求的工作队列。他们执行请求并将数据放入处理队列(见下一个项目符号)。
“处理队列”是一个工作队列,处理 HTTP 响应包含的任何内容。随着队列得到处理,它可以将新项目添加到“获取队列”
在获取队列上并行运行的一些进程(或几十个)。并行性在这里很好,因为由于网络,您有很多延迟。
一些处理“处理队列”的进程 - 目前尚不清楚并行性是否会有所帮助。所有这些处理都发生在本地,并且可能是一个简单的循环。
关于php - 打开数以千计的 cURL 句柄而不会遇到问题? (PHP),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4290348/
我以前从未做过任何 curl ,所以需要一些帮助。我试图从示例中解决这个问题,但无法理解它! 我有一个 curl 命令,我可以从 Windows 命令行成功运行该命令,该命令行在 Solr 中索引 p
curl -v有什么区别和 curl -I ? 我可以看到 -v是冗长的和 -I是标题。有什么具体的吗? 最佳答案 -I (大写字母 i)在 curl 中表示“没有正文”,对于 HTTP 表示发送 H
我正在使用curl php API访问FTP链接。在特定站点上,它给出错误代码9(拒绝访问)。但是,可以从IE和Firefox访问该链接。 然后,我运行curl命令行,它给出了相同的“访问拒绝”结果。
我已经使用curl有一段时间了,它可以正常工作,但是使用使用用户'domain\username'来验证curl的代理时,无法请求授权。授权方法是NTLM。此代码放入批处理文件中。 代码: curl
“curl”默认使用哪些证书? 例子: curl -I -L https://cruises.webjet.com.au 在 Ubuntu 15.04 上失败 curl: (60) SSL certi
我知道终端输出的一部分是请求的持续时间,剩余时间等。但是是否有一些文档指定了curl命令的终端输出的每一列到底是什么?手册页上的内容非常稀疏。 最佳答案 可能不容易找到,但已在the curl boo
我想通过 curl 在我自己的云服务器上的特定文件夹中上传文件。例如:http://www.myowncloudserver.com/remote.php/webdav/{MY_FOLDER}。此时我
我的网站上有一个密码保护的Web文件夹,我正在使用Curl在另一个域上获取该文件夹,我想要的是:当我尝试打开URL时,应该问我用户名和密码,而不是让它显示“需要授权”。 例: http://www.e
有没有一种方法可以通过简单的Curl获取Rabbitmq中队列的大小(剩余消息)? 类似于curl -xget http://host:1234/api/queue/test/stats 谢谢 最佳答
关闭。这个问题是opinion-based .它目前不接受答案。 2年前关闭。 锁定。这个问题及其答案是locked因为这个问题是题外话,但具有历史意义。它目前不接受新的答案或互动。 我最近开始在我的
我想访问需要用户名/密码的 URL。我想尝试用curl 访问它。现在我正在做类似的事情: curl http://api.somesite.com/test/blah?something=123 我收
我正在尝试使用 CURL 进行查询ElasticSearch 中的命令在windows平台。 例如:localhost:9200/playground/equipment/1?pretty 我收到一条
我正在尝试使用 Docker 构建和运行 Marklogic 实例。 Marklogic 提供了一些不错的 http api,所以,作为最终 CMD在 Dockerfile 中,我运行两个脚本,它们通
我正在尝试通过 cURL 检索网页的内容(比方说 http://www.foo.com/bar.php )。 当我在浏览器中加载网站时,加载页面时会出现动画,页面最终会显示出来。 但是使用 cURL,
我正在尝试使用带代理的命令行 CURL 获取响应状态代码。 这会返回整个页面,但我只想要状态代码。我怎么做?谢谢。 curl -sL -w -x IP:PORT "%{http_code}\n""ht
我有一段代码检查 http/s 端点的状态和加载时间。然后我会为每个顶级页面检查 1 级 href,以检查页面引用的所有内容是否也加载了 200。 (我查了50个顶级页面,每个顶级页面平均有8个链接)
curl --upload-file 和 curl --form file=@/path/file 有什么区别?这些 HTTP 请求有何不同? 最佳答案 --上传文件 (使用 HTTP 或 HTTPS
我正在尝试使用 system-curl 安装 cmake,使用 ./bootstrap --system-curl,如 here 所示.这样做,我得到了: -- Could NOT find
我需要使用 Curl 下载 Youtube 视频的特定部分。 (假设我想下载前 2MB)我在 Curl 中使用 -r 开关来实现这一点。它适用于非 YouTube 链接,但 Youtube 链接会忽略
我希望在使用 curl 命令从远程服务器下载文件后,将时间戳或日期添加到文件名中。我知道您可以使用 -o 来指定您要为文件命名的内容。我看到过这样的建议:-o "somefile $(date +\"
我是一名优秀的程序员,十分优秀!