python - 尝试抓取图像时出错

Question

我正在尝试使用 Python 3 通过存储在 .txt 文件中的 URL 下载图像，但在某些网站上尝试这样做时出现错误。这是我得到的错误:

 File "C:/Scripts/ImageScraper/ImageScraper.py", line 14, in <module>
 dl()
 File "C:/Scripts/ImageScraper/ImageScraper.py", line 10, in dl
 urlretrieve(URL, IMAGE)
 File "C:\Python34\lib\urllib\request.py", line 186, in urlretrieve
 with contextlib.closing(urlopen(url, data)) as fp:
 File "C:\Python34\lib\urllib\request.py", line 161, in urlopen
 return opener.open(url, data, timeout)
 File "C:\Python34\lib\urllib\request.py", line 469, in open
 response = meth(req, response)
 File "C:\Python34\lib\urllib\request.py", line 579, in http_response
 'http', request, response, code, msg, hdrs)
 File "C:\Python34\lib\urllib\request.py", line 507, in error
 return self._call_chain(*args)
 File "C:\Python34\lib\urllib\request.py", line 441, in _call_chain
 result = func(*args)
 File "C:\Python34\lib\urllib\request.py", line 587, in http_error_default
 raise HTTPError(req.full_url, code, msg, hdrs, fp)
 urllib.error.HTTPError: HTTP Error 403: Forbidden

使用此代码:

from urllib.request import urlretrieve

def dl():
    with open('links.txt', 'r') as input_file:
        for line in input_file:
            URL = line
            IMAGE = URL.rsplit('/',1)[1]
            urlretrieve(URL, IMAGE)


if __name__ == '__main__':
    dl()

我假设它是因为他们不允许“机器人”访问他们的网站，但通过一些研究我发现有一种解决方法，至少在使用 urlopen 时，但我无法设法将解决方法应用到我的代码中当我使用 urlretrieve 时。有可能让它发挥作用吗？

Answer 1

我认为该错误是一个实际的 HTTP 错误:403，表示禁止访问该 URL。您可能想在访问 URL 之前尝试打印 URL，并尝试通过浏览器访问 URL。您还应该得到禁止错误 (403)。了解有关 http_status_codes 的更多信息特别是 403 forbidden