个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
26
4
我最近在研究网络抓取。
我发现我们可以使用代理或随机用户代理来远离反抓取检测。
代理和随机用户代理之间有什么区别吗？
因为当我了解到两者都用于隐藏原始客户端请求身份时，我感到困惑。
如果我的理解有误，请告诉我
最佳答案
Useragent 和 proxy 是完全不同的概念
1) 用户代理 : 用户代理将通过标题发送到目标网站
当我向 stackoverflow 发送请求时，我的用户代理是:
用户代理: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:68.0) Gecko/20100101 Firefox/68.0
它说我正在使用 mozilla 和 linux + 其他信息。在 linux 上使用相同浏览器(firefox 5.0)的每个人都将拥有相同的用户代理。
这个库将帮助你找到网络上最常用的用户代理，让你的用户代理看起来是匿名的:https://github.com/Lobstrio/shadow-useragent
2) 代理
代理将让您将您的 IP 地址隐藏在代理后面。您定位的网站将收到代理的 IP 地址，而不是您的 IP 地址。如果您的 ip 被网站封锁，那么使用代理通常会解锁网站。
在抓取过程中您可能会被阻止的原因可能有很多，但在某些情况下，旋转 ip 和用户代理可能是有效的
关于proxy - 在抓取中使用随机用户代理与代理？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38895965/
26
4
0
我完全不同意配置代理来检查我正在开发的应用程序的 HTTP(S) 流量。我试过运行 Fiddler2 和 Charles Web Proxy，它们都在 127.0.0.1:888 上运行，并使用以下参
我有一个 AWS 环境，其中有几个实例没有预安装 SSM 代理，也没有 key 对，有没有办法在不使用 SSH 登录我的实例的情况下安装 SSM 代理？ 在此先感谢您的帮助! 最佳答案 没有。这是一个
在本教程中，您将借助示例了解 JavaScript 代理。 在 JavaScript 中，proxy（代理对象）用于包装对象并将各种操作重新定义到对象中，例如读取、插入、验证等。代理允许您向对
我有一个基于 Martini 的小型应用程序，但遇到了一个我无法解决的问题。 我想添加一个应用程序功能，允许用户从第三个服务器获取文件，并在 HTTP header 中进行一些更改。某种代理。这些文件
结构对比 讲实话，博主当初学习完整设计模式时，这三种设计模式单独摘哪一种都是十分清晰和明确的，但是随着模式种类的增加，在实际使用的时候竟然会出现恍惚，例如读开源代码时，遇到不以模式命名规范的代码时，
我正在尝试代理运行 ELK 的后端服务器。这是我的环境信息: root@proxy:~# root@proxy:~# cat /etc/*release DISTRIB_ID=Ubuntu DISTR
我需要为我的 java 应用程序编写一个代理，它在每个数组创建时执行一些特定的操作。到目前为止，我无法找到在此事件上运行我的代码的任何方法。 java.lang.instrument.ClassFil
PHP 代理如何工作？ 我希望制作一个类似于其他 php 代理的小脚本 但是它实际上是如何工作的呢？ 最佳答案 我正在考虑一个 PHP 代理，用于绕过 AJAX Sane Origin 策略。如果您需
我有一个 Electron 应用程序，试图通过该应用程序从同一网络调用url，但是出于安全考虑，我考虑了使用代理的想法。 function createWindow () { const mai
我有 1 台计算机，安装了 1 个网卡。网卡有 10 个 IP 地址分配给它。我在那里运行了一个 Windows 桌面应用程序。该应用程序基本上是一个调用 1 个特定网站的网络浏览器。 我想要实现的是
我想将 Burp 配置为我的 java 代码的代理，以查看请求和响应。Burp 作为 Web 浏览器之间的代理可以很好地工作，但它不适用于 Java 应用程序。 我已经在代码中添加了这样的行: Web
据我所知，在Spring AOP中，当我们想要拦截某些方法调用时，我们会配置一个具有与所需方法调用相匹配的切入点配置的Aspect。也就是说，我们在Aspect端配置拦截。 有没有一种方法可以完全从相
这可能是一个常见问题，但是:我有一个正在向 发出请求的应用程序elldmess.cz/api/... 但是这个api已经没有了。 现在我想要“东西”，即 catch 对 elldmess.cz/api
我正在尝试在 Android 中创建代理，但我必须使用套接字。我已经阅读了很多教程并提出了以下代码。不幸的是，浏览器似乎没有获得任何数据，一段时间后它显示标准网页，说网页不可用。可能是什么原因？感谢您
我在使用此代码时遇到了一些问题，具体取决于我使用的浏览器，有些 URL 在 IE 中显示正确，但在 Firefox 中显示为纯文本(例如 www.microsoft.es 在 IE 上看起来不错，但在
我正在尝试通过 urllib 获取一些 url 并通过我的代理进行 Mechanize 。 使用 mechanize 我尝试以下操作: from mechanize import Browser im
我安装了一个嵌入式设备(光伏转换器)，它提供了一个正常的 http Web 界面(信息和设置)。该转换器具有用户身份验证，但只能通过 http 进行。出于安全考虑，我不想将服务器直接发布到互联网上。在
我正在搜索有关如何使用支持 HTTPS 的 Ruby 编写代理的一些示例。我有一个使用 Webricks HTTPProxyServer 实现的简单代理，但我注意到，HTTPS 流量只是隧道传输(它应
我的一位客户刚收到他选择的开发商订购的软件，让我看一下并准备托管程序。 这是一个 Java (jar) 应用程序，到目前为止一切顺利......但我看到了一些可疑的东西，软件每隔 60 分钟左右连接到
我试图在 C# 中创建一个 HTTPS 代理服务器。这里有人发布了解决方案: string host = "encrypted.google.com"; string
我是一名优秀的程序员,十分优秀！