gpt4 book ai didi

javascript - 使用 mechanize 和 python 跟随 javascript 链接

转载 作者:塔克拉玛干 更新时间:2023-11-02 21:18:27 26 4
gpt4 key购买 nike

我正在做一些网络抓取,项目几乎完成,除了我需要单击一个 javascript 链接,我不知道如何使用 Python 和 Mechanize 。

在其中一个页面上,出现了一个 javascript 链接列表,我想依次关注它们,抓取一些数据,然后重复。我知道 mechanize 不适用于 javascript 但有人知道解决方法吗?这是我用来隔离链接的代码:

for Auth in iterAuths:
Auth = str(Auth.contents[0]).strip()
br.find_link(text=Auth)

现在如果我做 br.follow_link(text=Auth) , 我得到一个错误 urllib2.URLError: <urlopen error unknown url type: javascript> .

如果我这样做 print br.click_link(text=Auth') , 它打印为 Request for javascript:SendThePage('5660')

我只需要通过 javascript 链接即可。谁能帮忙?

最佳答案

当我需要做类似的事情时,我会查看我试图访问的链接。

其中一些是使用 javascript 生成的静态链接。它们足够可预测/一致,以至于我可以事先手动生成一个列表。

其他只是构造带有参数的 URL。这些也可以事先进行分析并生成 python 端并作为请求传递而不是“单击此链接”。

如果您需要实际执行 javascript,您可以运行 PyV8 + Mechanize 混合体。我一直在玩这个,看起来很酷。 PyV8 将 Python 与 V8 Javascript 引擎连接起来,允许您创建 JS 环境并执行任意代码。它可以很好地在两种语言之间来回切换。

我没有任何示例代码,但是这 3 种解决方案中的一种适合您 :) 祝你好运!

关于javascript - 使用 mechanize 和 python 跟随 javascript 链接,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18809962/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com