python - 从python调用url时获取 ‘wrong’页面源-6ren

python - 从python调用url时获取 ‘wrong’页面源

转载作者：太空狗更新时间：2023-10-30 01:57:42

25

4

尝试从网站检索页面源代码时，我得到的文本与通过网络浏览器查看相同页面源代码时完全不同(且更短)。

https://stackoverflow.com/questions/24563601/python-getting-a-wrong-source-code-of-the-web-page-asp-net

这个家伙有一个相关的问题，但获得了主页源而不是请求的源 - 我得到了一些完全陌生的东西。

代码是:

from urllib import request

def get_page_source(n):
    url = 'https://www.whoscored.com/Matches/' + str(n) + '/live'
    response = request.urlopen(url)
    return str(response.read())

n = 1006233
text = get_page_source(n)

这是我在此示例中定位的页面: https://www.whoscored.com/Matches/1006233/live

有问题的 url 在页面源中包含丰富的信息，但在运行上面的代码时我最终只得到以下内容:

文字=

b'<html style="height:100%"><head><META NAME="ROBOTS" CONTENT="NOINDEX,
NOFOLLOW"><meta name="format-detection" content="telephone=no"><meta 
name="viewport" content="initial-scale=1.0"><meta http-equiv="X-
UA-Compatible" content="IE=edge,chrome=1"></head><body style="margin:0px;
height:100%"><iframe src="/_Incapsula_Resource?CWUDNSAI=24&
xinfo=0-12919260-0 0NNY RT(1462118673272 111) q(0 -1 -1 -1) r(0 -1) 
B12(4,315,0) U2&incident_id=276000100045095595-100029307305590944&edet=12&
cinfo=04000000" frameborder=0 width="100%" height="100%" marginheight="0px" 
marginwidth="0px">Request unsuccessful. Incapsula incident ID: 
276000100045095595-100029307305590944</iframe></body></html>'

这里出了什么问题？服务器是否可以检测到机器人，即使它没有发送重复请求 - 如果是，如何 - 是否有解决办法？

最佳答案

这里有几个问题。根本原因是您要抓取的网站知道您不是真人，因此阻止了您。许多网站只是通过检查 header 来查看请求是否来自浏览器(机器人)来做到这一点。然而，这个网站看起来他们使用的是 Incapsula，旨在提供更复杂的保护。您可以尝试以不同方式设置您的请求，以通过设置 header 来欺骗页面上的安全性 - 但我怀疑这是否可行。

import requests

def get_page_source(n):
    url = 'https://www.whoscored.com/Matches/' + str(n) + '/live'
    headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
    response = requests.get(url, headers=headers)
    return response.text

n = 1006233
text = get_page_source(n)
print text

看起来该网站还使用验证码 - 旨在防止网络抓取。如果一个网站如此努力地防止抓取 - 很可能是因为他们提供的数据是专有的。我会建议寻找另一个提供此数据的网站 - 或者尝试使用官方 API。

查看此 ( https://stackoverflow.com/a/17769971/701449) 不久前的回答。看起来 whoscored.com 使用 OPTA API 来提供信息。您或许可以跳过中间人，直接找到数据源。祝你好运!

关于python - 从python调用url时获取 ‘wrong’页面源，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36971604/

25

4

0

文章推荐： c# - 与 Azure 同步时如何不违反此主键？

文章推荐： c# - 如何检查 SQL Compact 自动收缩设置？

文章推荐： python - python 中意外的关键字参数单击

url - 如何将域关联到特定应用程序 url URL？
假设我拥有域 mydomain.com，并且我在服务器上有一个 Web 应用程序，网址为 http://99.99.99.99:1234/MyApplication/startpage.somethi
url - 如何将方案和路径添加到 url.URL
我正在尝试通过以下方式更新已解析的 URL: u, _ := url.Parse(s) if u.Scheme == "" { u.Scheme = "https" } if u.Path =
url - 如何将 URL 映射到端口和修改后的 URL？
如何将 www.somesite.com/api(.*) 映射到 www.somesite.com/$1:9000？ (我需要将/api 映射到运行 @ 端口 9000 的 Play 框架应用程序)
url - 分层 URL 与平面 URL
我有一个资源结构，如航类 > 座位 > 预订，所以预订属于某个航类的某个座位: http://example.com/jdf_3prGPS4/1/jMBDy46PbNc
url - URL 路径中包含多个句点的 URL 是否有效？
我想知道以下网址是否有效。路径中的点，在主机之后: http://www.example.com/v.b.w..com 主机中的点，作为子域的一部分: http://v.b.w..co.manufa
url - 301 URL 从一个域重定向到另一个保持完整 URL
我有两个域 - crmpicco.co.uk 和 ayrshireminis.com - 如果我浏览到: www.crmpicco.co.uk/mini/new我希望能够重定向到 www.ayrshi
url-rewriting - url 重写为外部 url
我正在尝试使用 URL 重写和应用程序请求路由来重写到外部 URL。我设置了以下规则: 在规则中，“patternToMatch”是我试
url - Url Rewrite 是否只能重写为内部 url？
我已经安装了带有 SharePoint 和 Url Rewrite 模块的 IIS 7.0。是以下句子还是我配置错误才能看到这个结果？ Url Redirect 可以将 url 重定向到任何内部(在
url - URL 中 url 单词的最大大小是多少？
我想知道，为了获得良好的 SEO，您必须在 URL 中使用自然语言。您知道字符中单词或短语的最大大小吗？例如: www.me.com/this-is-a-really-long-url.htm 我问这
url - 在 URL 中使用逗号有时会破坏 URL？
有人知道在 SEO 友好 URL 中使用逗号有什么问题吗？我正在使用一些在其 SEO 友好 URL 中使用大量逗号的软件；但我 100% 肯定我见过一些程序/平台无法正确识别 URL 并在第一个逗号后
url - 描述性 URL 与基本 URL
我有一个网站，我正在为所有链接使用干净的 URL。我想知道对于简短的基本 URL 与较长的描述性 URL 有何看法。例如，如果我的网站是关于 Georgia Bulldog 足球新闻的，那么哪个网站
url - 跟踪为长 URL 生成的短 URL
我正在编写一个类似于 tinyurl 的 URL 缩短器，我想知道如何跟踪已经使用我的服务缩短的 URL？例如，tinyurl 为相同的长 URL 生成相同的小 URL，而不管是谁创建的。如
magento 获取 Base Url 、 Skin Url 、 Media Url 、 Js Url 、 Store Url 和 Current Url 以确保安全
我是 magento 的新手。我正在开发一个模块。为此，我有一些要显示链接的 css 和 js 文件。我目前有类似的链接 getSkinUrl('module_tryouts/css/jquery.
url-rewriting - URL 重写 - 重定向到不同的端口并使用映射更改 URL
我想基于 HTTP_URL 重写 URL 以重定向到不同的端口，同时保留其余的 URL 和查询字符串(如果指定)。例如， http://host/john/page.aspx 应该重定向到 http:
url - Grails URL 映射和 URL 中的斜杠字符
我遇到了以下问题: 我的 Grails (2.2.0) 应用程序具有以下 URL 映射: "/api/clientQuote/$labcode/$cliCode/$quoCode"(controlle
url - SharePoint 中 URL 类型字段的长 URL
我有一个很长的 URL，它不适合 URL 字段。它一直在修剪。该怎么办？有没有办法增加 SharePoint 2010 中的 URL 字段字符限制？或者解决方法来容纳长 URL。例如，以下 URL
url-shortener - URL 缩短器如何保证 URL 不会过期？
关闭。这个问题是off-topic .它目前不接受答案。想改进这个问题？ Update the question所以它是on-topic对于堆栈溢出。 9年前关闭。 Improve this que
url - 从文件 URL 查找应用程序脚本发布的 URL - 按发布的 Web 应用程序 URL 搜索文件
我们从客户以前的开发人员那里继承了相当多的 Google Apps 脚本项目。 Apps 脚本通过嵌入式小部件部署在 Google 网站 (sites.google.com) 的各个页面上。每当我们需
url - 绝对 url、相对 url，以及...？
我正在编写一些文档，但遇到了一些词汇问题: http://www.example.com/en/public/img/logo.gif 被称为“绝对”网址，对吗？ ../../public/img/l
url - 从文件 URL 查找应用程序脚本发布的 URL - 按发布的 Web 应用程序 URL 搜索文件
我们从客户以前的开发人员那里继承了相当多的 Google Apps 脚本项目。 Apps 脚本通过嵌入式小部件部署在 Google 网站 (sites.google.com) 的各个页面上。每当我们需

首页

博学

6Ren·AI

商城

python - 从python调用url时获取 ‘wrong’页面源