python - 替代使用 mechanize 来获取数据？

Question

目前，我正在使用 mechanize 填写表单并发送 POST 请求，然后我正在对响应执行 regex 搜索以获取数据( a float )。

有什么方法可以通过发送 POST 请求来实现吗？我知道这可以通过结合使用任何浏览器的开发人员工具和 requests 模块来发送请求来实现，但我没有找到全面的教程。我还想要有关所涉及步骤的一些详细信息。

Answer 1

第一步:获取字段名

检查 HTML 代码并找到该字段的 name 属性。例如，该页面的评论表单是(在 Chrome 中，右键单击并选择“检查元素”):

<textarea name="comment" cols="68" rows="3" 
placeholder="Use comments to ask for more information or 
suggest improvements. Avoid answering questions in comments."
></textarea>

字段名称是comment。

第 2 步:为每个字段(包括隐藏的输入)组装一个 name: value 的字典

我们称之为数据:

data = {
   "comment": "this is a comment",
   "post_id": 1234
}

第 3 步:使用 `requests.post' 的 data 参数

response = requests.post(url, data=data, cookies=cookies)

更高级的东西

如果您的表单有 file 字段，您可能需要检查文档中的“More complicated POST requests”。同样适用于 custom authentication , cookie handling等