javascript - 使用 Python 通过 Javascript URL 自动下载文件

Question

我被指派从一个大量使用 Javascript 编码的网站 (https://www.quantcast.com/download/plannerCSV?&d0Id=01&sc=1&mr=10000&rs2=-1) 自动下载多个 csv 文件。有一个方便的“下载”按钮可以提示下载，我使用 Firebug 找到了该按钮的 URL:

https://www.quantcast.com/download/plannerCSV?&d0Id=10&sc=1&mr=10000

但是，据我所知，URL 必须以 .csv 结尾，以便 python 中的 urllib2 模块将其读取/写入到我的磁盘。有没有办法获取以 .csv 结尾的文件的 URL，以便我可以使用 python 自动下载？

我更喜欢使用 python 编写脚本，但是如果有另一种更明智/直接的方法来完成此任务，我很想知道。任何指导表示赞赏!谢谢=)

(编辑)澄清:我尝试下载的数据由一个巨大的(定期更新)列表组成，可以根据选中的复选框以多种不同的方式进行过滤。 URL 根据复选框而变化，因此我相信 URL 可能会调用 Javascript 调用，每次都会生成一个新的 csv 文件。

Answer 1

附加虚拟 GET 变量是否有效？对于某些事情——对我来说最明显的是关于图像文件的 Google Code wiki——它们需要文件扩展名并通过传递服务器不会使用的 GET 变量来实现这一点。像这样的东西:

https://www.quantcast.com/download/plannerCSV?&d0Id=10&sc=1&mr=10000&foo=.csv

我想查看一下，但我没有 Quantcast 帐户。