python - 用 python 抓取图像但找不到图像

Question

我正在尝试从 stockcharts.com 中抓取 url 中的图表图像。例如来自:http://stockcharts.com/h-sc/ui?s=AMZN

但是，当检查有问题的元素时，它不是带有 .jpg、.png 等后缀的正确图像 src。例如，上述链接中的相关元素是:http://stockcharts.com/c-sc/sc?s=AMZN&p=D&b=5&g=0&i=0&r=1479451634864

因此，当我尝试在 python 2.7 中使用以下代码时，我在共享脚本的目录中得到一个空文件:

import urllib
url = "http://stockcharts.com/c-sc/sc?s=AMZN&p=D&b=5&g=0&i=0&r=1479451634864"
filename = "testimg.jpg"
urllib.urlretrieve(url, filename)

这是一个 javascript 呈现的页面，还是我遗漏了什么？对其他地方的引用？

Answer 1

站点检查 User-Agent header ；它仅允许特定的用户代理。

您需要更改 header 才能获取图像。否则，网站会返回 403 Forbidden 响应。

urllib.urlretrieve不接受额外的标题，你需要使用 urllib2.urlopen/urllib2.Request指定自定义 header 并自己保存文件:

import urllib2

url = "http://stockcharts.com/c-sc/sc?s=AMZN&p=D&b=5&g=0&i=0&r=1479451634864"
filename = "sc.png"
req = urllib2.Request(url, headers={'User-Agent': 'Mozilla/5.0'})
u = urllib2.urlopen(req)
with open(filename, 'wb') as f:
    f.write(u.read())