javascript - 使用 python 和 urllib 从网页打印代码

Question

我正在尝试使用 python 和 urllib 查看某个网页的代码。我已经使用代码在其他网页上尝试并成功了:

from urllib import *
url = 
code = urlopen(url).read()
print code

但是它什么也没有返回。我的猜测是因为该页面有很多 javascript 吗？怎么办？

Answer 1

动态客户端生成页面(JavaScript)

您不能单独使用 urllib 来查看在客户端 (JavaScript) 动态呈现的代码。原因是 urllib 仅从服务器获取响应，即 header 和正文(实际代码)。因此，我不会执行客户端代码。

但是你可以使用类似 selenium 的东西远程控制网络浏览器(Chrome 或 Firefox)。这将使您可以废弃该页面，即使它是使用 javascript 呈现的。

这是一个用 Selenium 进行抓取的示例:Using python with selenium to scrape dynamic web pages

但这不是你的问题

但是这个网站的问题似乎是他们不想被抓取。他们使用特定的 http 用户代理 header 阻止客户端。

但是，如果您伪造 http header ，您仍然可以获得代码。像这样使用 urllib2 而不是 urllib:

import urllib2
req = urllib2.Request(url)
req.add_header('User-Agent', 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.5) Gecko/20091102 Firefox')  # Add fake client
response = urllib2.urlopen(req)
print response.read()

但是，他们显然不希望您抓取他们的网站，因此您应该考虑这是否是个好主意。