python - 如何使用漂亮的 soup-python 检索图像的最大尺寸

Question

我用 python 做了一个爬虫，我正在尝试从这篇文章中下载图像- http://www.bbc.com/news/business-34958154 .这个网站的问题是它会自动调整它的大小，当我尝试下载文章的图片时，它给我的是 320 像素(太小)。发生这种情况的原因是爬虫进入了 url 的源文件(查看源代码:http://www.bbc.com/news/business-34958154)，其中有 320 像素。有一种方法可以使图像最大尺寸，或者我如何在浏览器中看到它？这是拍摄图像的代码:

r = requests.get("http://www.bbc.com/news/business-34958154")
soup = BeautifulSoup(r.content)
soupAllImgs=soup.findAll('img',src=True)

Answer 1

该图片标签有 src="http://ichef.bbci.co.uk/news/320/media/images/78532000/jpg/_78532434_hs2ii.jpg"。通过更改 URL 中的 320，您可以获得几乎任何您想要的图像 — *** 此处:

http://ichef.bbci.co.uk/news/***/media/images/78532000/jpg/_78532434_hs2ii.jpg

看起来他们使用 JavaScript 来动态替换它，可能取决于带宽和设备。我发现我可以获得 10 到 999 像素之间的任何值，然后是 1024 和 2048...我没有测试更多。

澄清后更新

如果你想获得屏幕上的内容——也就是说，在任何 JavaScript 完成执行之后——那么你需要一些可以执行 JS 的东西，比如 Selenium , 请参阅 this question例如。

甚至有办法做到这一点 without opening a browser — 请务必阅读所有可能的答案和评论。