php中get_meta_tags()、CURL与user-agent用法分析-6ren

php中get_meta_tags()、CURL与user-agent用法分析

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

31

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章php中get_meta_tags()、CURL与user-agent用法分析由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

本文实例分析了php中get_meta_tags()、CURL与user-agent用法。分享给大家供大家参考。具体分析如下:

get_meta_tags()函数用于抓取网页中<meta name="A" content="1"><meta name="B" content="2">形式的标签,并装入一维数组,name为元素下标,content为元素值,上例中的标签可以获得数组:array('A'=>'1', 'b'=>'2'),其他<meta>标签不处理,并且此函数只处理到</head>标签时截止,之后的<meta>也不再继续处理,不过<head>之前的<meta>还是会处理. 。

user-agent是浏览器在向服务器请求网页时,提交的不可见的头信息的一部分,头信息是一个数组,包含多个信息,比如本地缓存目录,cookies等,其中user-agent是浏览器类型申明,比如IE、Chrome、FF等. 。

今天在抓取一个网页的<meta>标签的时候,总是得到空值,但是直接查看网页源代码又是正常的,于是怀疑是否服务器设置了根据头信息来判断输出,先尝试使用get_meta_tags()来抓取一个本地的文件,然后这个本地文件将获取的头信息写入文件,结果如下,其中替换成了/,方便查看,代码如下

复制代码代码如下:

  array ( 
 
   'HTTP_HOST' => '192.168.30.205', 
 
   'PATH' => 'C:/Program Files/Common Files/NetSarang;C:/Program Files/NVIDIA Corporation/PhysX/Common;C:/Program Files/Common Files/Microsoft Shared/Windows Live;C:/Program Files/Intel/iCLS Client/;C:/Windows/system32;C:/Windows;C:/Windows/System32/Wbem;C:/Windows/System32/WindowsPowerShell/v1.0/;C:/Program Files/Intel/Intel(R) Management Engine Components/DAL;C:/Program Files/Intel/Intel(R) Management Engine Components/IPT;C:/Program Files/Intel/OpenCL SDK/2.0/bin/x86;C:/Program Files/Common Files/Thunder Network/KanKan/Codecs;C:/Program Files/QuickTime Alternative/QTSystem;C:/Program Files/Windows Live/Shared;C:/Program Files/QuickTime Alternative/QTSystem/; %JAVA_HOME%/bin;%JAVA_HOME%/jre/bin;', 
 
   'SystemRoot' => 'C:/Windows', 
 
   'COMSPEC' => 'C:/Windows/system32/cmd.exe', 
 
   'PATHEXT' => '.COM;.EXE;.BAT;.CMD;.VBS;.VBE;.JS;.JSE;.WSF;.WSH;.MSC', 
 
   'WINDIR' => 'C:/Windows', 
 
   'SERVER_SIGNATURE' => '', 
 
   'SERVER_SOFTWARE' => 'Apache/2.2.11 (Win32) PHP/5.2.8', 
 
   'SERVER_NAME' => '192.168.30.205', 
 
   'SERVER_ADDR' => '192.168.30.205', 
 
   'SERVER_PORT' => '80', 
 
   'REMOTE_ADDR' => '192.168.30.205', 
 
   'DOCUMENT_ROOT' => 'E:/wamp/www', 
 
   'SERVER_ADMIN' => 'admin@admin.com', 
 
   'SCRIPT_FILENAME' => 'E:/wamp/www/user-agent.php', 
 
   'REMOTE_PORT' => '59479', 
 
   'GATEWAY_INTERFACE' => 'CGI/1.1', 
 
   'SERVER_PROTOCOL' => 'HTTP/1.0', 
 
   'REQUEST_METHOD' => 'GET', 
 
   'QUERY_STRING' => '', 
 
   'REQUEST_URI' => '/user-agent.php', 
 
   'SCRIPT_NAME' => '/user-agent.php', 
 
   'PHP_SELF' => '/user-agent.php', 
 
   'REQUEST_TIME' => 1400747529, 
 
 )

果然在数组中没有HTTP_USER_AGENT这个元素,apache在向另外一台服务器发送请求的时候是没有UA的,之后查了一下资料,get_meta_tags()函数没有伪造UA的能力,所以只能使用其他办法解决了. 。

。

后来使用CURL来获取,就获取到了网页,不过使用上稍微麻烦一点,首先伪造UA,获取之后在使用正则表达式分析<meta>. 。

伪造办法,代码如下

复制代码代码如下:

  // 初始化一个 cURL 
 
 $curl = curl_init(); 
 
 // 设置你需要抓取的URL 
 
 curl_setopt($curl, CURLOPT_URL, 'http://localhost/user-agent.php'); 
 
 // 设置是否将文件头输出到浏览器，0不输出 
 
 curl_setopt($curl, CURLOPT_HEADER, 0); 
 
 // 设置UA，这里是将浏览器的UA转发到服务器，也可以手动指定值 
 
 curl_setopt($curl, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); 
 
 // 设置cURL 参数，要求结果返回到字符串中还是输出到屏幕上。0输出屏幕并返回操作结果的BOOL值，1返回字符串 
 
 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); 
 
 // 运行cURL，请求网页 
 
 $data = curl_exec($curl); 
 
 // 关闭URL请求 
 
 curl_close($curl); 
 
 // 处理获得的数据 
 
 var_dump($data);

。

希望本文所述对大家的PHP程序设计有所帮助.

最后此篇关于php中get_meta_tags()、CURL与user-agent用法分析的文章就讲到这里了,如果你想了解更多关于php中get_meta_tags()、CURL与user-agent用法分析的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

31

4

0

文章推荐： php批量添加数据与批量更新数据的实现方法

文章推荐： MySQL5.7 集群配置的步骤

文章推荐： MySQL 普通索引和唯一索引的区别详解

文章推荐： PHP使用array_multisort对多个数组或多维数组进行排序

php - 输出 PHP 分隔符 ()，PHP 不解释分隔符
我在 JavaScript 文件中运行 PHP，例如...... var = '';). 我需要使用 JavaScript 来扫描字符串中的 PHP 定界符(打开和关闭 PHP 的 )。我已经知道使
php - PHP 是否具有确定与给定 PHP 脚本兼容的最旧 PHP 版本的内置方法？还是会永远？
我希望能够做这样的事情: php --determine-oldest-supported-php-version test.php 并得到这个输出: 7.2 也就是说，php 二进制检查 test.
php - 在没有 php 框架的情况下将 php 框架用于现有的 php 应用程序是个好主意吗？
我正在开发一个目前不使用任何框架的大型 php 站点。我的大问题是，随着时间的推移慢慢尝试将框架融入应用程序是否可取，例如在创建的新部件和更新的旧部件中？比如所有的页面都是直接通过url服务的，有几
php - 如何在同一 php 页面上的其他 php 脚本中使用 php 变量
下面是我的源代码，我想在同一页面顶部的另一个 php 脚本中使用位于底部 php 脚本的变量 $r1。我需要一个简单的解决方案来解决这个问题。我想在代码中存在的更新查询中使用该变量。 $name)
php - PHP 重定向后 PHP 是否继续执行？
我正在制作一个网站，根据不同的情况进行大量 PHP 重定向。就像这样...... header("Location: somesite.com/redirectedpage.php"); 为了安全起见
php - 如何避免在 php 文件中写入
我有一个旧网站，我的 php 标签从因为短标签已经显示出安全问题，并且在未来的版本中将不被支持。关于php - 如何避免在 php 文件中写入

php - 需要建议通过 php 编辑 php
我有一个用 PHP 编写的配置文件，如下所示，所以我想用PHP开发一个接口(interface)，它可以编辑文件值，如$WEBPATH , $ACCOUNTPATH和 const值(value)观
php - 无法发布 “PHP file” PHP
我试图制作一个登录页面来学习基本的PHP，首先我希望我的独立PHP文件存储HTML文件的输入(带有表单)，但是当我按下按钮时(触发POST到PHP脚本) )我一直收到令人不愉快的错误。我已经搜索了S
php - PHP 是否有生成有效 PHP 表达式的打印函数？
我正在寻找一种让 PHP 以一种形式打印任意数组的方法，我可以将该数组作为赋值包含在我的(测试)代码中。 print_r 产生例如: Array ( [0] => qsr-part:1285 [1]
php - PHP 数组键有大小限制吗？ PHP 数组一般有哪些限制？
这个问题已经有答案了: 已关闭11 年前。 Possible Duplicate: What is the max key size for an array in PHP? 正如标题所说，我想知道
php - PHP 是否有生成有效 PHP 表达式的打印函数？
我正在寻找一种让 PHP 以一种形式打印任意数组的方法，我可以将该数组作为赋值包含在我的(测试)代码中。 print_r 产生例如: Array ( [0] => qsr-part:1285 [1]
php - 让函数在 php 刷新时执行 (PHP)
关闭。这个问题需要多问focused 。目前不接受答案。想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post . 已关闭 9 年前。 Improve this ques
php - 按时间段显示菜单 PHP PHP MySQL
我在 MySQL 数据库中有一个表，其中存储餐厅在每个工作日和时段提供的菜单。表结构如下: i_type i_name i_cost i_day i_start i_
php - 将参数发送到嵌套在 PHP 页面内的动态 PHP
我有两页。 test1.php 和 test2.php。我想做的就是在 test1.php 上点击提交，并将 test2.php 显示在 div 中。这实际上工作正常，但我需要向 test2.php
php - 文本区域 -> php -> mysql -> php
我得到了这个代码。我想通过textarea更新mysql。我在textarea中回显我的MySQL，但我不知道如何更新它，我应该把所有东西都放进去吗，因为_GET模式没有给我任何东西，我也尝试_GET
php - 我如何将一个 php 的值解析为另一个 php
首先，我是 php 的新手，所以我仍在努力学习。我在 Wordpress 上创建了一个表单，我想将值插入一个表(data_test 表，我已经管理了)，然后从 data_test 表中获取所有列(id
php - php 中的安全首选项、php 函数来清理输入
我有以下函数可以清理用户或网址的输入: function SanitizeString($var) { $var=stripslashes($var); $va
php - HTML/PHP 登录重定向到 php
我有一个 html 页面，它使用 php 文件查询数据库，然后让用户登录，否则拒绝访问。我遇到的问题是它只是重定向到 php 文件的 url，并且从不对发生的事情提供反馈。这是我第一次使用 html、
php - onClick php PHP 函数然后重定向
我有一个页面充满了指向 pdf 的链接，我想跟踪哪些链接被单击。我以为我可以做如下的事情，但遇到了问题: query($sql); if($result){
php - 有没有办法从 PHP 代码加载的文件中解析 PHP？
我正在使用从外部文本文件加载 HTML/PHP 代码 $f = fopen($filename, "r"); while ($line = fgets($f, 4096)) { print $l

首页

博学

6Ren·AI

商城

php中get_meta_tags()、CURL与user-agent用法分析