python - 抓取时 html 源代码中的隐藏部分(python)

Question

所以我想从这个 url 中抓取“购买价格”整数: https://rsbuddy.com/exchange?id=5502

但是当我查看源代码时，我无法达到那些价格。 BeautifulSoup 刮板也没有。这是 BeautifulSoup 的输出:

<div class="col-md-7" id="buy-price">
    ---
</div>

但是当我使用 chrome“检查元素”时，我实际上能够看到那个价格:

<div id="buy-price" class="col-md-7">29,990 gp</div>

为什么那部分代码是“隐藏”的？仅仅是因为他们不想让人们从他们的网站上抓取信息吗？有办法解决这个问题吗？

提前致谢

编辑:我通过使用 chrome 工具跟踪 javascript 流量找到了答案。显然即使 api.rsbuddy.com 没有给你任何东西，它确实使用了 api: https://api.rsbuddy.com/grandExchange?a=guidePrice&i=5502

Answer 1

如果页面的某些部分是通过 JavaScript 插入的，您最好的选择是使用类似 selenium 的东西与 PhantomJS作为司机。

Python 绑定(bind)非常易于使用，这将允许 JavaScript 在浏览器中执行，您可以从那里获取价格。

如果您需要更多信息，请告诉我，我很乐意提供帮助。