javascript - Python Requests-HTML Render() - 无内容

Question

我想抓取一个页面，其内容似乎是由 html 中引用的应用程序呈现的，例如:

<div id="app" class="app-mobile-pusher"></div>

我正在使用 Requests-HTML python 库中的 render() 方法，如下所示:

with HTMLSession() as session:
    p = session.post(login_url, data=payload)
    r = session.get(content_url)
    r.html.render()
    print(r.text)

此代码返回页面的 HTML，没有任何错误，但也没有任何内容(只是 HTML 标记)。备注:

• 我已经尝试向 session.get 添加超时参数，以便在访问页面之前为页面提供更多时间来呈现它，以及上述语法的其他变体。

• 还尝试根据 this answer 在 header 中添加用户代理信息(为了规避拒绝我的自动抓取)

• 当我第一次运行 render() 时，chromium 浏览器确实下载了

没有任何错误消息让我感到难过，很难复制此请求的上下文以在另一个站点上进行测试。

如果您有任何关于如何解决的具体建议，或关于如何进行故障排除的想法，我们将不胜感激。 (Python 3.6、Mac 操作系统)

Answer 1

您尝试过 print(r.html.html) 吗？新呈现的代码位于此对象路径下。