javascript - 单击 Javascript 链接以在 Python 中发出发布请求

Question

我正在编写一个网络爬虫/自动化工具。本工具需要使用POST请求来提交表单数据。最后的操作使用此链接:

<a id="linkSaveDestination" href='javascript:WebForm_DoPostBackWithOptions(new WebForm_PostBackOptions("linkSaveDestination", "", true, "", "", false, true))'>Save URL on All Search Engines</a>

从此表单提交数据:

<input name="sem_ad_group__destination_url" type="text" maxlength="1024" id="sem_ad_group__destination_url" class="TextValueStyle" style="width:800px;">

我一直在使用请求和 BeautifulSoup。我知道这些库不能与 Javascript 交互，人们推荐 Selenium。但据我所知，Selenium 不能做 POST。我该如何处理？是否可以像 Selenium 那样在不打开实际浏览器的情况下进行操作？

Answer 1

是的。您完全可以通过向正确的 url 提交 POST 来完全复制链接的功能(实际上，这最终将与单击链接时触发的 javascript 执行的操作相同)。

您可以在此处的请求文档中找到相关部分:http://docs.python-requests.org/en/latest/user/quickstart/#more-complicated-post-requests

因此，对于您的特定情况，这看起来像这样:

payload = {'sem_ad_group__destination_url': 'yourTextValueHere'}
r = requests.post("theActionUrlForTheFormHere", data=payload)

如果您无法弄清楚它实际发布到哪个 url，只需在您自己手动单击链接的同时监视网络选项卡(在 chrome 开发工具中)，您应该能够找到正确的请求并拉取任何信息。

祝你好运!