gpt4 book ai didi

python - 如何在 python 中抓取受密码保护的站点?

转载 作者:太空宇宙 更新时间:2023-11-04 09:20:37 25 4
gpt4 key购买 nike

目前我有一个用 Java 编写的爬虫,它可以登录供应商网站并爬取该网站。 (使用 htmlunit)

它保留 session (cookie),甚至允许我启用/禁用 javascript 等。

我还使用htmlparser (java) 来帮助解析html并提取相关信息。

python有类似的东西吗?

最佳答案

Python 有 urllib2抓取页面,支持密码验证和cookie。

还有一个HTMLParser用于提取 html,但有些人更喜欢功能更全的 BeatifulSoup .

关于python - 如何在 python 中抓取受密码保护的站点?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3173433/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com