python - 如何使用python向服务器提交表单并通过互联网从服务器获取csv文件？

Question

我需要向服务器提交表单，并使用 python 通过互联网从服务器获取 csv 文件。

服务器网站是(http://222.158.245.253/obweb/data/c1/c1_output6.aspx?LocationNo=0​​12)，发布日本海域观测数据。

到目前为止，我总是选择项目和日期，然后单击按钮。然后，当显示文件保存对话框时，我从服务器保存 csv 文件。

我想用 python 自动化这些体力劳动。我研究了 python 和网页抓取，并使用了 python 模块(如 BeautifulSoup)。然而，由于aspx，该网站很难进行网页抓取。

所以，请帮助我。

Answer 1

如果您可以找出表单发布到的 URL，则可以避免抓取。检查页面的源代码并查看表单标签是否具有操作属性。这是表单将所有字段发送到的 URL(包括您指定的项目和日期)。

您将需要使用 requests库来发出 POST 请求。这将类似于请求快速入门中的示例:

payload = {'item': '<your item>', 'date': '<your date>'}
r = requests.post("<form post url>", data=payload)

然后您就可以访问返回的 csv 文件

print r.content

尽管您可能必须处理 r.content 才能使其有意义。