python - 尝试从 BeautifulSoup 获取元素但可能被阻止

Question

我正在尝试检索 HTML 中列出的图表上的坐标。

网址:“http://www.worldacd.com/index”

HTML:

我已经做到了这一点:

import requests
from bs4 import BeautifulSoup

wacd_homepage = requests.get("http://www.worldacd.com/index")
wacd_homepage_soup = BeautifulSoup(wacd_homepage.content, "html.parser")

soup = wacd_homepage_soup.body.find("div", {"class":"container main"}).find("div", {"id":"content"}).find("div", {"class":"tab-content"}).find("div", {"class":"tab-pane active"}).find("div", {"class":"row"}).find("div",{"class":"span10"}).find("div",{"class":"wrapper"}).find("div",{"class":"chart"})
soup

结果只是一行:

<div class="chart" id="chart_index"></div>

没什么可看的。最终，我想进入如图所示的部分。 HTML 是否被部分阻止(不确定我在这里使用的术语是否正确)？

Answer 1

我发现“chart_index”元素用于谷歌图表库。您可以在“http://www.worldacd.com/index”的源代码中找到第860行

chart_index = new google.visualization.LineChart(document.getElementById('chart_index'));

我认为您可以使用解析 JS 检索图表上的坐标。

例如，

import requests
from bs4 import BeautifulSoup

wacd_homepage = requests.get("http://www.worldacd.com/index")
wacd_homepage_soup = BeautifulSoup(wacd_homepage.content, "html.parser")

soup = wacd_homepage_soup.find_all('script', {"type":"text/javascript"})
print(soup)

在“soup”的内容中，您可以在图表上找到坐标，例如“[new Date(2009, 1, 1), 98.55, 94.86, 96.25]”，每个“USD”、“EUR”和“CNY” .