javascript - 机器人-检测JavaScript事件

Question

It's difficult to tell what is being asked here. This question is ambiguous, vague, incomplete, overly broad, or rhetorical and cannot be reasonably answered in its current form. For help clarifying this question so that it can be reopened, visit the help center。
                            
                        
                    
                
                                已关闭8年。
            
                    
机器人可以找出网页的JavaScript部分吗？他们是否有可能解析网页的源代码（我猜动态脚本将显示在源代码中）并确定javascript事件。

另外，我很好奇，机器人是否可以通过其他方式做到这一点，而不仅仅是解析源代码。例如，假设有一个脚本，每当用户单击按钮时，该脚本就会使用随机字符串填充文本字段。通过仅解析页面源，机器人无法确定字符串将是什么（因为只有rand（）函数）。因此，机器人可以以任何方式猜测输入到文本字段中的字符串的实际内容。

附注：我是一名研究生，研究网络机器人检测技术。

最佳答案

首先，机器人几乎不可能在您的页面上执行任何JavaScript。互联网上有成千上万的网页，通常只扫描更多的网页要比徘徊试图解决仅通过javascript公开内容的网页问题容易得多。

其次，一般的bot不会知道网页的工作方式，也不会知道在页面上进行某些操作之前需要在什么地方。他们抓取并解析发现的东西以寻找感兴趣的东西。如果URL在您的脚本中是完整URL，则它们可能足够聪明以找到它。但是，如果URL是根据脚本中的片段构建的，则这比任何通用的bot都不可能发现您的代码正在将URL以及URL构成的可能性要小得多。

第三，特定的攻击者可以分析您的页面，弄清页面的工作原理，并设计一种规避某些用户操作的方法。但是，只有在某些攻击者决定专门攻击/规避您的站点的情况下。没有专门为您的站点编写代码的通用bot将无法做到这一点。这就是验证码类型操作的地方，因为脚本很难“读取”图像以获取其中的代码，然后将这些代码提交给服务器-因此，即使是为特定目的而构建的机器人也无法真正解决问题验证码类型的问题。他们可以使用真实的人来解决验证码问题，但是现在这开始使他们花钱，而且很少有网站值得这样做。存在许多这些障碍的想法是，使绕过这些障碍的成本超出获得收益的好处。窥探就是为了赚钱，所以当成本超出可承受范围时，它们就会以另一种方式运行。

第四，您询问了“事件”。请记住，有程序事件（计时器，页面加载事件等）和用户事件。程序事件仅在有浏览器引起事件或在类似浏览器的环境中执行javascript代码时才会发生。用户事件（键，单击，鼠标移动等）仅在存在与网页进行交互的类似于浏览器的环境并且有实际用户创建这些事件时才会发生。当机器人读取您的页面时，通常都不显示这些内容。他们使用服务器端脚本来获取页面并对其进行解析。他们可以以编程方式驱动浏览器来加载页面并创建一些编程事件，但是仍然没有用户在场以创建任何用户事件。如果机器人知道应该模拟什么用户事件（例如，单击按钮），它可以驱动受控浏览器来执行此操作，但是在那时，这不是任何形式的通用机器人，而是专门设计的机器人攻击您的网站。如果要解决这个问题，那么设计一个如何从您的网站请求所需内容的方式（这样它就可以要求方向）可能比尝试模拟一个实际的浏览器页面要容易得多。



如果您想尝试（从您的Web服务器）检测访问网页的内容是否是机器人或人类，您所能做的就是研究他们从一页到下一页的访问方式。漫游器将以某种编程方式“爬行”您的网站。


漫游器通常具有相当规则的访问模式（每次页面访问之间有一定的时间间隔）。实际用户可能具有完全不同的访问模式。
漫游器通常不会与页面上的控件（按钮，字段等）进行交互，并且不会导致仅在使用这些控件时才会发生的事情，因此，当使用这些控件时，您将不会以编程方式创建的网址访问。
机器人不知道要遵循页面上的书面指示。他们只会尝试访问在页面中找到的直接链接。
漫游器很可能会跟随从不可见的链接，而人类通常不会。因此，如果您看到从主页到页面中的链接的快速访问模式，但是该链接始终不可见（CSS样式规则显示：无），则人类不太可能那样做。这可能是一些程序化代理（例如机器人）。因此，您可以为人类不会碰到的此类机器人设置陷阱。

关于javascript - 机器人-检测JavaScript事件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7606362/

上一篇：javascript - 为什么我的 if-else 语句没有正确执行？

下一篇：javascript - 在网站的源代码上找不到 html 表

相关文章：

Javascript 向 CSS 发送动态值

javascript - Angular2 - 嵌套表单元素

Java Twitch IRC 机器人

python - 获取函数文档字符串/初始注释 [Python]

api - Discord Rest Api Bot，读取用户在特定公会中的角色

javascript - NodeJS - 如何创建一个在命令之后运行的命令？

javascript - 我是否正确地进行了 AES 256 加密和解密 Node.js？

javascript - 选择全局范围而不是本地范围

javascript - PDF 的颜色仅适用于 Chrome

node.js - 有没有办法让我的机器人检查私信并将其发布到我服务器的 channel 中？

Answer 1

首先，机器人几乎不可能在您的页面上执行任何JavaScript。互联网上有成千上万的网页，通常只扫描更多的网页要比徘徊试图解决仅通过javascript公开内容的网页问题容易得多。

其次，一般的bot不会知道网页的工作方式，也不会知道在页面上进行某些操作之前需要在什么地方。他们抓取并解析发现的东西以寻找感兴趣的东西。如果URL在您的脚本中是完整URL，则它们可能足够聪明以找到它。但是，如果URL是根据脚本中的片段构建的，则这比任何通用的bot都不可能发现您的代码正在将URL以及URL构成的可能性要小得多。

第三，特定的攻击者可以分析您的页面，弄清页面的工作原理，并设计一种规避某些用户操作的方法。但是，只有在某些攻击者决定专门攻击/规避您的站点的情况下。没有专门为您的站点编写代码的通用bot将无法做到这一点。这就是验证码类型操作的地方，因为脚本很难“读取”图像以获取其中的代码，然后将这些代码提交给服务器-因此，即使是为特定目的而构建的机器人也无法真正解决问题验证码类型的问题。他们可以使用真实的人来解决验证码问题，但是现在这开始使他们花钱，而且很少有网站值得这样做。存在许多这些障碍的想法是，使绕过这些障碍的成本超出获得收益的好处。窥探就是为了赚钱，所以当成本超出可承受范围时，它们就会以另一种方式运行。

第四，您询问了“事件”。请记住，有程序事件（计时器，页面加载事件等）和用户事件。程序事件仅在有浏览器引起事件或在类似浏览器的环境中执行javascript代码时才会发生。用户事件（键，单击，鼠标移动等）仅在存在与网页进行交互的类似于浏览器的环境并且有实际用户创建这些事件时才会发生。当机器人读取您的页面时，通常都不显示这些内容。他们使用服务器端脚本来获取页面并对其进行解析。他们可以以编程方式驱动浏览器来加载页面并创建一些编程事件，但是仍然没有用户在场以创建任何用户事件。如果机器人知道应该模拟什么用户事件（例如，单击按钮），它可以驱动受控浏览器来执行此操作，但是在那时，这不是任何形式的通用机器人，而是专门设计的机器人攻击您的网站。如果要解决这个问题，那么设计一个如何从您的网站请求所需内容的方式（这样它就可以要求方向）可能比尝试模拟一个实际的浏览器页面要容易得多。



如果您想尝试（从您的Web服务器）检测访问网页的内容是否是机器人或人类，您所能做的就是研究他们从一页到下一页的访问方式。漫游器将以某种编程方式“爬行”您的网站。


漫游器通常具有相当规则的访问模式（每次页面访问之间有一定的时间间隔）。实际用户可能具有完全不同的访问模式。
漫游器通常不会与页面上的控件（按钮，字段等）进行交互，并且不会导致仅在使用这些控件时才会发生的事情，因此，当使用这些控件时，您将不会以编程方式创建的网址访问。
机器人不知道要遵循页面上的书面指示。他们只会尝试访问在页面中找到的直接链接。
漫游器很可能会跟随从不可见的链接，而人类通常不会。因此，如果您看到从主页到页面中的链接的快速访问模式，但是该链接始终不可见（CSS样式规则显示：无），则人类不太可能那样做。这可能是一些程序化代理（例如机器人）。因此，您可以为人类不会碰到的此类机器人设置陷阱。