python - 如何使用python下载推送到浏览器的文件？

Question

我想使用 python 下载一个 zip 文件。

对于这种类型的网址， http://server.com/file.zip这非常简单，只需使用 urllib2.urlopen 并将其写入本地文件即可。

但在我的例子中，我有这种类型的 url: http://server.com/customer/somedata/download?id=121&m=zip ,下载在表单验证后启动。

准确地说，在我的情况下，我想将它部署在 heroku 上，因此我不能使用用 C++ 构建的 spynner。此下载是在使用 scrapy 进行抓取之后启动的。

从浏览器下载效果很好，我得到了一个带有名称的好 zip 文件。使用 python 我只得到 html 和标题数据...

有没有办法在 python 中从这种类型的 url 获取文件？

Answer 1

本网站提供 JavaScript，然后调用下载。您别无选择，只能:a) 在模拟的浏览器环境中评估 JavaScript 或 b) 手动解析 JS 的作用，然后在 python 中重新实现它。例如字符串提取 URL 和下载 key ，可能调用 AJAX 请求，最后下载文件

我一般推荐Mechanize用于网页相关的自动化，但它也不能处理 JavaScript，所以我想如果你想进行 b 计划，你可以坚持使用 Scrapy。