个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我尝试使用 requests 和 BeautifulSoup 模块从 google.scholar.com 下载页面。网址是https://scholar.google.com/citations?mauthors=computer+science&hl=en&view_op=search_authors .当我将 url 复制到 Chrome 时，我可以查看该页面。但是，如果我尝试使用 requests 下载它，它会显示 404 NOT FOUND 错误:
<!DOCTYPE html>
<html lang="en">
<head><meta charset="utf-8"/>
<meta content="initial-scale=1, minimum-scale=1, width=device-width" name="viewport"/>
<title>Error 404 (Not Found)!!1</title>
<style>
*{margin:0;padding:0}html,code{font:15px/22px arial,sans-serif}html{background:#fff;color:#222;padding:15px}body{margin:7% auto 0;max-width:390px;min-height:180px;padding:30px 0 15px}* > body{background:url(//www.google.com/images/errors/robot.png) 100% 5px no-repeat;padding-right:205px}p{margin:11px 0 22px;overflow:hidden}ins{color:#777;text-decoration:none}a img{border:0}@media screen and (max-width:772px){body{background:none;margin-top:0;max-width:none;padding-right:0}}#logo{background:url(//www.google.com/images/branding/googlelogo/1x/googlelogo_color_150x54dp.png) no-repeat;margin-left:-5px}@media only screen and (min-resolution:192dpi){#logo{background:url(//www.google.com/images/branding/googlelogo/2x/googlelogo_color_150x54dp.png) no-repeat 0% 0%/100% 100%;-moz-border-image:url(//www.google.com/images/branding/googlelogo/2x/googlelogo_color_150x54dp.png) 0}}@media only screen and (-webkit-min-device-pixel-ratio:2){#logo{background:url(//www.google.com/images/branding/googlelogo/2x/googlelogo_color_150x54dp.png) no-repeat;-webkit-background-size:100% 100%}}#logo{display:inline-block;height:54px;width:150px}
</style>
</head><body><a href="//www.google.com/"><span aria-label="Google" id="logo"></span></a>
<p><b>404.</b> <ins>That’s an error.</ins>
</p><p>The requested URL <code>/citations</code> was not found on this server. <ins>That’s all we know.</ins>
</p></body></html>
除了标题(因为它太长)之外，下载页面的脚本是
url = "https://scholar.google.com/citations?mauthors=computer+science&hl=en&view_op=search_authors"
for i in range(1200):
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.content, "lxml")
print soup
谁能帮我解决这个问题？
最佳答案
如果您使用的是 Python，则可以使用 BeautifulSoup 和 urllib2 执行类似的操作:
from urllib2 import Request, urlopen
from bs4 import BeautifulSoup as soup
url = "https://scholar.google.com/citations?mauthors=computer%20science&hl=en&view_op=search_authors"
def load_url(url):
request = Request(url)
# Add your header here
request.add_header('Referer', 'python.org')
# Note here:
# The charset used in your current website is: 'iso-8859-1'
# data = urlopen(request).read().decode("iso-8859-1")
data = urlopen(request).read()
return soup(data, "lxml")
data = load_url(url)
m = data.findAll("h3", {"class": "gsc_1usr_name"})
for k in m:
print k.get_text()
否则，如果您使用的是 Python3，则可以使用 BeautifulSoup 和 urllib.request 执行类似的操作:
from urllib.request import Request, urlopen
from bs4 import BeautifulSoup as soup
url = "https://scholar.google.com/citations?mauthors=computer%20science&hl=en&view_op=search_authors"
def load_url(url):
request = Request(url)
# Add headers
request.add_header('Referer', 'python.org')
with urlopen(request) as f:
# The charset used
# charset = f.info().get_content_charset()
# Debug
# print("The current charset is:", charset)
data = f.read()
return soup(data, 'lxml')
data = load_url(url)
m = data.findAll("h3", {"class": "gsc_1usr_name"})
for k in m:
print(k.get_text())
输出(对于使用 Python 和 Python3 的两个代码):
Herbert Simon
Geoffrey Hinton
William H. Press
Jiawei Han
Stephen Boyd
anupam gupta
David S. Johnson
Scott Shenker
Jeffrey Ullman
Deborah Estrin
关于python - 为什么我可以在浏览器中查看页面，但可以使用 URL 使用代码下载它，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43566532/
25
4
0
我尝试理解[c代码 -> 汇编]代码 void node::Check( data & _data1, vector& _data2) { -> push ebp -> mov ebp,esp ->
我需要在当前表单(代码)的上下文中运行文本文件中的代码。其中一项要求是让代码创建新控件并将其添加到当前窗体。 例如，在Form1.cs中: using System.Windows.Forms; ..
我有此 C++ 代码并将其转换为 C# (.net Framework 4) 代码。有没有人给我一些关于 malloc、free 和 sprintf 方法的提示？ int monate = ee; d
我的网络服务器代码有问题 #include #include #include #include #include #include #include int
给定以下 html 代码，将列表中的第三个元素(即“美丽”一词)以斜体显示的 CSS 代码是什么？当然，我可以给这个元素一个 id 或一个 class，但 html 代码必须保持不变。谢谢
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以便用事实和引用来回答。 关闭 7 年前。
我试图制作一个宏来避免重复代码和注释。 我试过这个: #define GrowOnPage(any Page, any Component) Component.Width := Page.Surfa
我正在尝试将我的旧 C++ 代码“翻译”成头条新闻所暗示的 C# 代码。问题是我是 C# 中的新手，并不是所有的东西都像 C++ 中那样。在 C++ 中这些解决方案运行良好，但在 C# 中只是不能。我
在 Windows 10 上工作，R 语言的格式化程序似乎没有在 Visual Studio Code 中完成它的工作。我试过R support for Visual Studio Code和 R-T
我正在处理一些报告(计数)，我必须获取不同参数的计数。非常简单但乏味。 一个参数的示例查询: qCountsEmployee = ( "select count(*) from %s wher
最近几天我尝试从 d00m 调试网络错误。我开始用尽想法/线索，我希望其他 SO 用户拥有可能有用的宝贵经验。我希望能够提供所有相关信息，但我个人无法控制服务器环境。 整个事情始于用户注意到我们应用程
我有一个 app.js 文件，其中包含如下 dojo amd 模式代码: require(["dojo/dom", ..], function(dom){ dom.byId('someId').i
我对“-gencode”语句中的“code=sm_X”选项有点困惑。 一个例子:NVCC 编译器选项有什么作用 -gencode arch=compute_13,code=sm_13 嵌入库中？ 只有
我为我的表格使用 X-editable 框架。 但是我有一些问题。 $(document).ready(function() { $('.access').editable({
我一直在通过本教程学习 flask/python http://blog.miguelgrinberg.com/post/the-flask-mega-tutorial-part-i-hello-wo
我想将 Vim 和 EMACS 用于 CNC、G 代码和 M 代码。 Vim 或 EMACS 是否有任何语法或模式来处理这种类型的代码？ 最佳答案 一些快速搜索使我找到了 this vim 和 thi
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 想改进这个问题？更新问题，使其成为 on-topic对于堆栈溢出。 7年前关闭。 Improve this
这个问题在这里已经有了答案: Enabling markdown highlighting in Vim (5 个回答) 6年前关闭。 当我在 Vim 中编辑包含 Markdown 代码的 READM
我正在 Swift3 iOS 中开发视频应用程序。基本上我必须将视频 Assets 和音频与淡入淡出效果合并为一个并将其保存到 iPhone 画廊。为此，我使用以下方法: private func d
pipeline { agent any stages { stage('Build') { steps { e
我是一名优秀的程序员,十分优秀！