gpt4 book ai didi

python - 使用 Python 抓取 Ajax

转载 作者:太空宇宙 更新时间:2023-11-03 14:31:18 26 4
gpt4 key购买 nike

我正在尝试获取该网站表格中的数据,该数据在页面加载后通过 jquery 更新(我有权限):

http://whichchart.com/

我目前使用 selenium 和 beautifulsoup 来获取数据,但是因为这些数据在 html 源中不可见,所以我无法访问它。我试过 PyQt4 但它同样没有得到更新的 html 源代码。

这些值在 firebug 和 chrome 开发人员中可见,那么是否有任何 python 包可以利用它并将其提供给 beautifulsoup?

我不是一个大技术专家,所以理想情况下我想要一个可以在 Python 或下一个最简单的软件类型中运行的解决方案。

我知道我可以通过专有的“屏幕抓取”软件获得它,但那很昂贵。

最佳答案

页面正在进行 AJAX 调用以获取数据到 http://whichchart.com/service.php?action=NewcastleCoal它以 JSON 格式返回值。因此,您可以执行以下操作:

  • 使用urllib通过HTTP获取数据
  • 用json库读取方法解析数据
  • 现在你有一个 python 对象要处理

如果您需要处理 HTML 页面内容,我建议使用像 BeautifulSoup 或 scrapy 这样的库

关于python - 使用 Python 抓取 Ajax,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10440480/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com