python - 如何在向网站发送post请求时返回结果，然后选择其中之一？

Question

我正在尝试创建一个脚本，将文本作为发布请求输入 www.citethisforme.com，然后选择第一个结果。

我正在向 www.citethisforme.com 发送一个帖子请求，该请求将文本“albert einstein”提交到我在检查页面后找到的信息的表单。当我运行 scipt 时，似乎可以工作，但是当我复制并粘贴响应时，我在响应中看不到结果。我如何查看结果？然后我将编写什么代码来单击第一个结果并返回响应？

我尝试过 beautifulsoup，但没有得到 beautiful soup，但我没有得到所需的响应，还是我做错了？

我的代码:

import requests
from bs4 import BeautifulSoup

body = {'jrQry': 'albert einstein'}
with requests.Session() as s:
    con = requests.post("https://stackoverflow.com/", data=body)
    print (con.text)

如果您在 www.citethisforme.com 中输入 albert einstein，您应该会看到预期的结果。

Answer 1

您应该向他们用于搜索的端点发出请求，而不是向主页发出请求。找出这一点的一个好方法通常是在您最喜欢的浏览器中使用开发者控制台(例如 Chrome 、 Firefox 并查看您使用该网站时发出了哪些请求。

在您建议的网站上执行搜索时这样做会显示向其端点之一发出 POST 请求及其提供的响应。

但是，在执行此类操作之前，最好联系任何网站或检查其文档，以确保一切正常。以编程方式查询应该是前端端点的内容可能会被视为滥用服务，特别是如果您以高于人类的速度这样做。