- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
https://psycnet.apa.org/record/2016-47119-002
当我通过 chrome(在私有(private)窗口中)访问上述 URL 时,我可以看到对应于以下 curl
的第一个请求命令。但是当我调用 curl
在命令行中输入命令,distil网络会检测到显示<div id="distilIdentificationBlock"> </div>
.
这对我来说看起来很奇怪,因为这是第一个请求。除非 curl 和 chrome 发送的请求之间存在差异,否则 distil 网络无法判断机器人或真实浏览器发送的请求是什么。有人知道 curl 请求和 chrome 请求有什么区别吗?
curl 'https://psycnet.apa.org/record/2016-47119-002' \
-H 'Connection: keep-alive' \
-H 'Pragma: no-cache' \
-H 'Cache-Control: no-cache' \
-H 'Upgrade-Insecure-Requests: 1' \
-H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36' \
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \
-H 'Sec-Fetch-Site: none' \
-H 'Sec-Fetch-Mode: navigate' \
-H 'Sec-Fetch-User: ?1' \
-H 'Sec-Fetch-Dest: document' \
-H 'Accept-Language: en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7' \
--compressed
最佳答案
没有区别。
要了解 Distill(他们的网络抓取保护系统)是如何工作的,您需要查看初始响应 HTML:
当我在 Chrome 中发出请求并查看开发工具中的初始响应时(确保选中“保留日志”),我看到响应实际上是一个包含嵌入式 <script>
的简短网页它执行一些简单的“这个用户代理是网络浏览器吗?”检查,例如运行脚本来查找 Web 浏览器之外不存在的 JavaScript DOM 对象(假设 HTTP 用户代理完全能够运行脚本 - cURL
和 wget
不是,通过道路)。
如果脚本认为您的用户代理是网络浏览器,那么它会使用动态生成的密码对真实内容执行另一个请求(我没有查看其工作原理的详细信息) - 这就是为什么您不能使用 cURL
重新请求真实内容或 wget
因为每个请求的密码都是唯一的。
这是 <script>
的屏幕截图初始页面响应中的元素,并注意页面的 HTML 中缺少真实的实际内容。
如果您在浏览器中禁用 JavaScript,您将根本无法访问该网页。
这种反抓取系统保护网页免受来自缺乏评估 JavaScript 方法的用户代理的请求 - 所以它会阻止 curl
, wget
, HttpClient
, 和浏览器内 fetch
/XMLHttpRequests
(至少不是没有进一步的工作)。
您会认为该系统会使网站无法被搜索引擎蜘蛛索引 - 但这是一种古老(且根深蒂固)的信念和做法:因为直到 2000 年代后期,主要的搜索引擎蜘蛛(Google、Bing/Windows Live Search 、Yahoo 等)只索引原始 HTML 并且不运行 JavaScript - 但从那时起,搜索引擎蜘蛛开始运行 JavaScript,甚至开始索引网站,而不是使用定制的蜘蛛 HTML 解析器引擎,而是使用实际的网络浏览器引擎(谷歌真正开始了它,以便他们可以索引脚本繁重的网站,尤其是使用 Angular、Vue 等的单页应用程序)。当我在 Microsoft 工作时,我必须使用 Bing 爬虫系统进行一些产品研究项目,并使用 Internet Explorer 的特殊构建来“运行”它访问的网页。
关于javascript - 浏览器请求和 curl 请求有什么区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62074890/
我正在尝试在 OCaml 中创建一个函数,该函数在数学中执行求和函数。 我试过这个: sum n m f = if n = 0 then 0 else if n > m then f
我正在尝试找到一个可以帮助我解决问题的公式。 这个公式应该对每个靠近(总是在左边)具有相同名称的单元格的单元格求和(或工作)。如下所示: 将每个大写字母视为 “食谱”并且每个小写字母为 “成分” .在
让它成为以下 python pandas DataFrame,其中每一行代表一个人在酒店的住宿。 | entry_date | exit_date | days | other_columns
我有显示客户来电的数据。我有客户号码、电话号码(1 个客户可以有多个)、每个语音调用的日期记录以及调用持续时间的列。表看起来如下示例。 CusID | PhoneNum | Date
让它成为以下 python pandas DataFrame,其中每一行代表一个人在酒店的住宿。 | entry_date | exit_date | days | other_columns
我得到了两列数据; 答: 2013年12月31日 2013年12月30日 2013年12月29日 2013年12月28日 2013年12月27日 2012年12月26日 B: 10 10 10 10
我对 double 格式的精度有疑问。 示例: double K=0, L=0, M=0; scanf("%lf %lf %lf", &K, &L, &M); if((K+L) 我的测试输入: K
我有以下数组: int[,] myArray1 = new int[2, 3] { { 1, 2, 3 }, { 4, 6, 8 } }; int[,] myArray2 = new int[2, 3
我需要有关报告查询的帮助。我在该方案的底部有一个发票表,需要一种方法来获取总计费金额,同时在此数据库方案中的较高点进行条件过滤。我需要加入其他表,这会导致 SUM 函数返回不需要的结果。 这是我正在使
我有一个使用innodb作为存储引擎的MySQL数据库,并且我有许多采用基本形式的查询: SELECT bd.billing, SUM(CASE WHEN tc.transaction_class
尝试创建一个查询来给出总胜、平和负。我有以下查询 SELECT CASE WHEN m.home_team = '192' AND m.home_full_time_score
我正在尝试生成一份报告,显示排名靠前的推荐人以及他们推荐的人产生了多少收入。 这是我的表格的缩写版本: Users Table ------------------ id referral_user_
我有以下查询,并得到了预期的结果: SELECT IF (a1>b1,'1','0') AS a1r, IF (a2>b2,'1','0') AS a2r,
我尝试了几种不同的解决方案,但都没有成功。我给出的表格是一个示例,其设计和功能与我实际使用的表格类似: PK | Color | Count -------------------
我正在尝试构建一个查询来检查我的库存。 SELECT COUNT(*) AS item_count, reseller_id, sum(sold) as sold_count, sum(refunde
我试图解决一个看起来像下面编写的代码的问题,但由于缺乏知识和阅读 sqlalchemy 文档,我还没有真正找到解决问题的方法。 目标: 如果 year_column 中的年份相同,则获取 sales_
我有一个包含一周中多天的表格。一周中的每一天都有独特的属性,例如冰淇淋是否在这一天成功送达: ID DAY_WEEK ICE_CREAM 1 Monday
首先,我有一个名为store_00的表 id | ref | item | qty | cost | sell 1 22 x1 5 10 15 2 22
我正在编写一个程序,计算每个数字的总和,直到 1000。例如,1+2+3+4+5....+100。首先,我将求和作业分配给 10 个处理器:处理器 0 得到 1-100,处理器 1 得到 101-20
我想在一个循环中一次对多个属性求和: class Some(object): def __init__(self, acounter, bcounter): self.acou
我是一名优秀的程序员,十分优秀!