javascript - 如何访问该脚本元素的数据？

Question

我正在尝试使用 requests 和 BeautifulSoup 访问页面上的一些元数据。

可以访问一些 script 元素，但似乎不是特别的一个。

例如:

response = BeautifulSoup(requests.get("https://www.booking.com/hotel/br/olympia-residence.en-gb.html", verify=False).content, "html.parser")

scriptData = response.select('script[type="text/javascript"]')

在 HTML 中，有一个带有 window.utag_data 变量的 script 元素，但 scriptData 仅包含来自另一个 script 元素的数据。

我认为特定的 script 元素的缺失可能是因为它是动态加载到页面上的，但如果是这样的话，我无法缩小传递该数据的响应的范围。

是否可以通过requests和BeautifulSoup获取window.utag_data？

Answer 1

网站似乎会根据您访问请求的方式发送不同的 HTML。

如果我从浏览器访问该页面，我可以看到 window.utag_data，但如果我使用curl 获取它则看不到:

$ curl -s https://www.booking.com/hotel/br/olympia-residence.en-gb.html | grep utag_data
$

它也不会显示在使用您提供的代码下载的响应中:

>>> 'window.utag_data' in str(response)
False

您可以尝试重放该请求，就像它是由浏览器完成的一样(例如使用浏览器用户代理)。