gpt4 book ai didi

python - 从 Web 中提取数据

转载 作者:行者123 更新时间:2023-11-28 23:00:14 26 4
gpt4 key购买 nike

一个新手问题。我正在为我的家庭使用一个小的 python 脚本,它将收集特定机票的数据。

我想从 skyscanner 中提取数据(使用 BeautifulSoap 和 urllib)。示例:

http://www.skyscanner.net/flights/lond/rome/120922/120929/airfares-from-london-to-rome-in-september-2012.html

我对存储在这种元素中的所有数据很感兴趣,特别是价格:http://shrani.si/f/1w/An/1caIzEzT/capture.png

因为它们不在 HTML 中,我可以提取它们吗?

最佳答案

我认为问题在于这些值是通过浏览器运行的 javascript 代码呈现的,而 urllib 不运行 - 您应该使用可以执行 javascript 代码的库。

我刚刚用谷歌搜索了 crawler python javascript,我得到了一些建议使用 selenium 的 stackoverflow 问题和答案。或 webkit .您可以通过 scrapy 使用这些库.这里有两个片段:

Rendered/interactive javascript with gtk/webkit/jswebkit

Rendered Javascript Crawler With Scrapy and Selenium RC

关于python - 从 Web 中提取数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12332847/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com