使用PHP curl模拟浏览器抓取网站信息-6ren

使用PHP curl模拟浏览器抓取网站信息

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

24

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章使用PHP curl模拟浏览器抓取网站信息由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

官方解释 curl是一个利用URL语法在命令行方式下工作的文件传输工具。curl是一个利用URL语法在命令行方式下工作的文件传输工具。它支持很多协议：FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。curl同样支持HTTPS认证，HTTP POST方法, HTTP PUT方法, FTP上传, kerberos认证, HTTP上传, 代理服务器, cookies, 用户名/密码认证, 下载文件断点续传, 上载文件断点续传, http代理服务器管道（ proxy tunneling）, 甚至它还支持IPv6, socks5代理服务器, 通过http代理服务器上传文件到FTP服务器等等，功能十分强大。 curl讲解一 PHP中curl函数应用简单的来说一共四步 curl_init(); curl_setopt(); curl_exec(); curl_close(); 最重要的命令就是 curl_setopt(); 一个简单的post请求例子 index.php 。

复制代码代码如下:

 
 <?php 
 
 $url = "http://www.mytest.com/curl/login.php";  //请求的url地址 
 
 $user = "zkg111"; //用户名 
 
 $pass = "123456"; 
 
 $postdata = "user_name=".$user."&password=".$pass;  //请求的数据，以 & 符号分割 
 
 $curl = curl_init(); //开启curl 
 
 curl_setopt($curl, CURLOPT_URL, $url); //设置请求地址 
 
 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);  //是否输出 1 or true 是不输出 0  or false输出 
 
 curl_setopt($curl, CURLOPT_POST, 1); //是否使用post方法请求 
 
 curl_setopt($curl, CURLOPT_POSTFIELDS, $postdata);  //post数据 
 
 echo $data = curl_exec($curl); //执行curl操作 
 
 curl_close($curl); 
 
 ?>

下面一个简单的例子，我随便打开了兄弟连的论坛，接着就模拟了一下兄弟连论坛的登陆，如果需要发帖的话原理都是一样的，转接页面，提交数据特别注意的是cookie的保存目录 windows7下面必须是在./temp目录下，开始我自己创建了一个新文件夹，发现存是对的，但是cookie读取的时候不对，为此还在好多地方提问，但是没有回答对的，折腾了好几天该了保存文件为./temp目录下才可以的，提醒别的朋友别和我一样瞎转。

复制代码代码如下:

 
 <?php 
 
 $url = "http://bbs.lampbrother.net/login.php"; 
 
 $urls = "http://bbs.lampbrother.net"; 
 
 $lgt = 0; 
 
 $user = "XXXX"; 
 
 $pass = "XXXX"; 
 
 $question = 0; 
 
 $hideid = 1; 
 
  $cookie_file    =    tempnam('./temp','cookie'); 
 
  $postdata = "forward=&jumpurl=".$urls."&step=2&lgt=".$lgt."&pwuser=".$user."&pwpwd=".$pass."&question=".$question."&answer=&hideid=".$hideid; 
 
 $ch = curl_init(); 
 
 curl_setopt($ch, CURLOPT_URL, $url); 
 
 curl_setopt($ch, CURLOPT_HEADER, 0); 
 
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
 
 curl_setopt($ch, CURLOPT_POST, 1); 
 
 curl_setopt($ch, CURLOPT_POSTFIELDS, $postdata); 
 
 curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); 
 
 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); 
 
  $data = curl_exec($ch); 
 
 curl_close($ch); 
 
  //echo $data; 
 
 $ch = curl_init(); 
 
 curl_setopt($ch, CURLOPT_URL, 'http://bbs.lampbrother.net/'); 
 
 curl_setopt($ch, CURLOPT_HEADER, 0); 
 
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0); 
 
 curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); 
 
 curl_exec($ch); 
 
 curl_close($ch); 
 
 ?>

。

最后此篇关于使用PHP curl模拟浏览器抓取网站信息的文章就讲到这里了,如果你想了解更多关于使用PHP curl模拟浏览器抓取网站信息的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

24

4

0

文章推荐：基于Linux系统调用--getrlimit()与setrlimit()函数的方法

文章推荐：新一期免费领取30天QQ阅读会员亲测秒到

文章推荐： Java 选择、冒泡排序、折半查找(实例讲解)

文章推荐：鸿图之下手游又可以集卡了至少6Q币

php - 输出 PHP 分隔符 ()，PHP 不解释分隔符
我在 JavaScript 文件中运行 PHP，例如...... var = '';). 我需要使用 JavaScript 来扫描字符串中的 PHP 定界符(打开和关闭 PHP 的 )。我已经知道使
php - PHP 是否具有确定与给定 PHP 脚本兼容的最旧 PHP 版本的内置方法？还是会永远？
我希望能够做这样的事情: php --determine-oldest-supported-php-version test.php 并得到这个输出: 7.2 也就是说，php 二进制检查 test.
php - 在没有 php 框架的情况下将 php 框架用于现有的 php 应用程序是个好主意吗？
我正在开发一个目前不使用任何框架的大型 php 站点。我的大问题是，随着时间的推移慢慢尝试将框架融入应用程序是否可取，例如在创建的新部件和更新的旧部件中？比如所有的页面都是直接通过url服务的，有几
php - 如何在同一 php 页面上的其他 php 脚本中使用 php 变量
下面是我的源代码，我想在同一页面顶部的另一个 php 脚本中使用位于底部 php 脚本的变量 $r1。我需要一个简单的解决方案来解决这个问题。我想在代码中存在的更新查询中使用该变量。 $name)
php - PHP 重定向后 PHP 是否继续执行？
我正在制作一个网站，根据不同的情况进行大量 PHP 重定向。就像这样...... header("Location: somesite.com/redirectedpage.php"); 为了安全起见
php - 如何避免在 php 文件中写入
我有一个旧网站，我的 php 标签从因为短标签已经显示出安全问题，并且在未来的版本中将不被支持。关于php - 如何避免在 php 文件中写入

php - 需要建议通过 php 编辑 php
我有一个用 PHP 编写的配置文件，如下所示，所以我想用PHP开发一个接口(interface)，它可以编辑文件值，如$WEBPATH , $ACCOUNTPATH和 const值(value)观
php - 无法发布 “PHP file” PHP
我试图制作一个登录页面来学习基本的PHP，首先我希望我的独立PHP文件存储HTML文件的输入(带有表单)，但是当我按下按钮时(触发POST到PHP脚本) )我一直收到令人不愉快的错误。我已经搜索了S
php - PHP 是否有生成有效 PHP 表达式的打印函数？
我正在寻找一种让 PHP 以一种形式打印任意数组的方法，我可以将该数组作为赋值包含在我的(测试)代码中。 print_r 产生例如: Array ( [0] => qsr-part:1285 [1]
php - PHP 数组键有大小限制吗？ PHP 数组一般有哪些限制？
这个问题已经有答案了: 已关闭11 年前。 Possible Duplicate: What is the max key size for an array in PHP? 正如标题所说，我想知道
php - PHP 是否有生成有效 PHP 表达式的打印函数？
我正在寻找一种让 PHP 以一种形式打印任意数组的方法，我可以将该数组作为赋值包含在我的(测试)代码中。 print_r 产生例如: Array ( [0] => qsr-part:1285 [1]
php - 让函数在 php 刷新时执行 (PHP)
关闭。这个问题需要多问focused 。目前不接受答案。想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post . 已关闭 9 年前。 Improve this ques
php - 按时间段显示菜单 PHP PHP MySQL
我在 MySQL 数据库中有一个表，其中存储餐厅在每个工作日和时段提供的菜单。表结构如下: i_type i_name i_cost i_day i_start i_
php - 将参数发送到嵌套在 PHP 页面内的动态 PHP
我有两页。 test1.php 和 test2.php。我想做的就是在 test1.php 上点击提交，并将 test2.php 显示在 div 中。这实际上工作正常，但我需要向 test2.php
php - 文本区域 -> php -> mysql -> php
我得到了这个代码。我想通过textarea更新mysql。我在textarea中回显我的MySQL，但我不知道如何更新它，我应该把所有东西都放进去吗，因为_GET模式没有给我任何东西，我也尝试_GET
php - 我如何将一个 php 的值解析为另一个 php
首先，我是 php 的新手，所以我仍在努力学习。我在 Wordpress 上创建了一个表单，我想将值插入一个表(data_test 表，我已经管理了)，然后从 data_test 表中获取所有列(id
php - php 中的安全首选项、php 函数来清理输入
我有以下函数可以清理用户或网址的输入: function SanitizeString($var) { $var=stripslashes($var); $va
php - HTML/PHP 登录重定向到 php
我有一个 html 页面，它使用 php 文件查询数据库，然后让用户登录，否则拒绝访问。我遇到的问题是它只是重定向到 php 文件的 url，并且从不对发生的事情提供反馈。这是我第一次使用 html、
php - onClick php PHP 函数然后重定向
我有一个页面充满了指向 pdf 的链接，我想跟踪哪些链接被单击。我以为我可以做如下的事情，但遇到了问题: query($sql); if($result){
php - 有没有办法从 PHP 代码加载的文件中解析 PHP？
我正在使用从外部文本文件加载 HTML/PHP 代码 $f = fopen($filename, "r"); while ($line = fgets($f, 4096)) { print $l

首页

博学

6Ren·AI

商城

使用PHP curl模拟浏览器抓取网站信息