- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
如何过滤来自网络抓取工具等的点击。不是人类的点击。
我使用maxmind.com从IP请求城市。.如果我必须支付所有点击数(包括网络抓取工具,机器人等)的话,这并不便宜。
最佳答案
有两种检测机器人的一般方法,我将它们称为“礼貌/被动”和“激进”。基本上,您必须使您的网站出现心理障碍。
有礼貌的
这些是礼貌地告诉抓取工具他们不应该抓取您的网站并限制抓取频率的方法。可以通过robots.txt文件确保礼貌,在该文件中,您可以指定应允许哪些漫游器(如果有的话)对您的网站进行爬网以及对网站进行爬网的频率。这假设您要处理的机器人礼貌。
挑衅的
使机器人远离您的站点的另一种方法是变得主动。
用户代理
一些攻击性行为包括(如其他用户所提到的)用户代理字符串的过滤。这可能是检测它是否是用户的最简单但也是最不可靠的方法。许多机器人倾向于欺骗用户代理,而某些机器人是出于正当理由(即,他们只想抓取移动内容),而其他机器人则根本不希望被识别为机器人。更糟糕的是,某些漫游器会欺骗合法/礼貌的漫游器代理,例如Google,Microsoft,Lycos和其他爬网程序的用户代理,这些代理通常被认为是礼貌的。依靠用户代理可能会有所帮助,但不能单靠本身。
有更积极的方式来处理欺骗用户代理并且不遵守您的robots.txt文件的机器人:
机器人陷阱
我喜欢将其视为“维纳斯飞行陷阱”,它基本上可以惩罚任何想和您玩花样的机器人。
漫游器陷阱可能是查找不遵循robots.txt文件的漫游器而又不损害网站可用性的最有效方法。创建漫游器陷阱可确保仅捕获漫游器,而不捕获真实用户。这样做的基本方法是在robots.txt文件中设置一个专门标记为禁止访问的目录,这样,任何礼貌的机械手都不会掉入陷阱。您要做的第二件事是从您的网站到bot陷阱目录放置一个“隐藏”链接(这可以确保真实用户永远不会进入那里,因为真实用户永远不会单击不可见链接)。最后,您禁止进入bot trap目录的任何IP地址。
以下是有关如何实现此目的的一些说明:
Create a bot trap(或者您的情况:PHP bot trap)。
注意:当然,某些漫游器足够聪明,可以读取robots.txt文件,查看已标记为“超出限制”的所有目录,并且仍会忽略您的礼貌设置(例如爬网率和允许的漫游器)。尽管这些机器人不礼貌,但它们可能不会落入您的机器人陷阱。
暴力
我认为这实际上对于一般观众(和一般用途)来说太激进了,因此,如果有18岁以下的 child ,请带他们到另一个房间!
您只需不指定robots.txt文件,即可使机器人陷阱“ violent ”。在这种情况下,爬网隐藏链接的任何BOT 都可能最终会出现在bot陷阱中,您可以在一段时间内禁止所有bot!
不建议这样做的原因是,您实际上可能希望某些机器人对您的网站进行爬网(例如Google,Microsoft或其他用于站点索引的机器人)。允许来自Google,Microsoft,Lycos等的漫游器礼貌地爬网您的网站,可以确保您的网站被编入索引,并且当人们在自己喜欢的搜索引擎上搜索该网站时,该网站就会显示出来。
自毁性
限制机器人可以在您的网站上进行爬网的另一种方法是服务验证码或机器人无法解决的其他挑战。这是以牺牲您的用户为代价的,并且我认为任何使您的网站无法使用的东西(例如CAPTCHA)都是“自毁性的”。当然,这实际上并不会阻止bot反复尝试爬网您的网站,只会使您的网站对他们非常无趣。有一些方法可以“绕过”验证码,但是它们很难实现,因此我不会对此进行过多研究。
结论
为了您的目的,应对机器人的最佳方法可能是采用上述策略的组合:
关于php - 如何识别网络爬虫?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8404775/
我在 JavaScript 文件中运行 PHP,例如...... var = '';). 我需要使用 JavaScript 来扫描字符串中的 PHP 定界符(打开和关闭 PHP 的 )。 我已经知道使
我希望能够做这样的事情: php --determine-oldest-supported-php-version test.php 并得到这个输出: 7.2 也就是说,php 二进制检查 test.
我正在开发一个目前不使用任何框架的大型 php 站点。我的大问题是,随着时间的推移慢慢尝试将框架融入应用程序是否可取,例如在创建的新部件和更新的旧部件中? 比如所有的页面都是直接通过url服务的,有几
下面是我的源代码,我想在同一页面顶部的另一个 php 脚本中使用位于底部 php 脚本的变量 $r1。我需要一个简单的解决方案来解决这个问题。我想在代码中存在的更新查询中使用该变量。 $name)
我正在制作一个网站,根据不同的情况进行大量 PHP 重定向。就像这样...... header("Location: somesite.com/redirectedpage.php"); 为了安全起见
我有一个旧网站,我的 php 标签从 因为短标签已经显示出安全问题,并且在未来的版本中将不被支持。 关于php - 如何避免在 php 文件中写入
我有一个用 PHP 编写的配置文件,如下所示, 所以我想用PHP开发一个接口(interface),它可以编辑文件值,如$WEBPATH , $ACCOUNTPATH和 const值(value)观
我试图制作一个登录页面来学习基本的PHP,首先我希望我的独立PHP文件存储HTML文件的输入(带有表单),但是当我按下按钮时(触发POST到PHP脚本) )我一直收到令人不愉快的错误。 我已经搜索了S
我正在寻找一种让 PHP 以一种形式打印任意数组的方法,我可以将该数组作为赋值包含在我的(测试)代码中。 print_r 产生例如: Array ( [0] => qsr-part:1285 [1]
这个问题已经有答案了: 已关闭11 年前。 Possible Duplicate: What is the max key size for an array in PHP? 正如标题所说,我想知道
我正在寻找一种让 PHP 以一种形式打印任意数组的方法,我可以将该数组作为赋值包含在我的(测试)代码中。 print_r 产生例如: Array ( [0] => qsr-part:1285 [1]
关闭。这个问题需要多问focused 。目前不接受答案。 想要改进此问题吗?更新问题,使其仅关注一个问题 editing this post . 已关闭 9 年前。 Improve this ques
我在 MySQL 数据库中有一个表,其中存储餐厅在每个工作日和时段提供的菜单。 表结构如下: i_type i_name i_cost i_day i_start i_
我有两页。 test1.php 和 test2.php。 我想做的就是在 test1.php 上点击提交,并将 test2.php 显示在 div 中。这实际上工作正常,但我需要向 test2.php
我得到了这个代码。我想通过textarea更新mysql。我在textarea中回显我的MySQL,但我不知道如何更新它,我应该把所有东西都放进去吗,因为_GET模式没有给我任何东西,我也尝试_GET
首先,我是 php 的新手,所以我仍在努力学习。我在 Wordpress 上创建了一个表单,我想将值插入一个表(data_test 表,我已经管理了),然后从 data_test 表中获取所有列(id
我有以下函数可以清理用户或网址的输入: function SanitizeString($var) { $var=stripslashes($var); $va
我有一个 html 页面,它使用 php 文件查询数据库,然后让用户登录,否则拒绝访问。我遇到的问题是它只是重定向到 php 文件的 url,并且从不对发生的事情提供反馈。这是我第一次使用 html、
我有一个页面充满了指向 pdf 的链接,我想跟踪哪些链接被单击。我以为我可以做如下的事情,但遇到了问题: query($sql); if($result){
我正在使用 从外部文本文件加载 HTML/PHP 代码 $f = fopen($filename, "r"); while ($line = fgets($f, 4096)) { print $l
我是一名优秀的程序员,十分优秀!