gpt4 book ai didi

python - beautifulsoup 和 Mechanize 以获得 ajax 调用结果

转载 作者:太空狗 更新时间:2023-10-30 02:06:34 39 4
gpt4 key购买 nike

嗨,我正在使用 python 2.5 和 beautifulsoup 构建一个爬虫但我遇到了一个问题......网页的一部分正在生成用户单击某个按钮后,通过使用适当的参数调用特定的 javacsript 函数来启动 ajax 请求

有没有办法模拟用户交互并得到这个结果?我遇到了一个 Mechanize 模块,但在我看来,它主要用于处理表单 ...

我将不胜感激任何链接或一些代码示例谢谢

最佳答案

好的,所以我已经想通了......在我意识到我可以使用 urllib、urllib2 和 beautifulsoup 的组合之后,这很简单

import urllib, urllib2
from BeautifulSoup import BeautifulSoup as bs_parse

data = urllib.urlencode(values)
req = urllib2.Request(url, data)
res = urllib2.urlopen(req)
page = bs_parse(res.read())

关于python - beautifulsoup 和 Mechanize 以获得 ajax 调用结果,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2610112/

39 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com