python - 如何使用scrapy抓取需要登录的网站？

Question

我想从一个网站抓取数据，该网站需要登录才能到达某个页面才能抓取数据。

有没有办法使用Scrapy登录后抓取数据？或者我们是否可以模拟登录？

注意:我确实有登录凭据。

Answer 1

简短回答:是的，您可以在登录后抓取数据。检查scrapy中的Formdata和这个答案post request using scrapy和 documentation

长答案:登录页面只是表单。您可以访问这些字段来填写所需的详细信息并发布该数据。您可以手动登录并检查 Chrome 开发者工具[ctrl + shift + i]是否有按下提交/登录按钮时进行的网络调用。然后，您可以检查发出的发布请求并将其复制到您的抓取工具中。您可以检查上面的链接以了解如何发布数据，以及请求和响应如何在 scrapy 中工作。