python - XPath 不返回内容

Question

我正在尝试从 Result 中提取“总分”使用 Python 3。网页显示在 image 中。 ，从这里，我试图提取数据“515”。内容的 XPath(来自 Firebug)显示为:

/html/body/div/div/div/div[3]/div[1]/div/div[2]/div[2]/table/tbody/tr[1]/td[2]/b

使用的代码片段是:

summary_data_xpath = '//tbody/tr[1]/td[2]/b/text()'
data = html_tree.xpath(summary_data_xpath)
print(data)

但是我得到了输出:[]

我尝试使用绝对路径(Firebug 给出的 XPath)。我也尝试从 '//table' 开始引用，但我得到了相同的结果。

两个表的结构如下:

...
<div>
    <div>
        Upper Table with subject marks
    </div>
    Lower Table with subject marks and division
</div>
...

如何从表格中提取总分“515”？在此先感谢您的帮助!

Answer 1

我会通过 following-sibling axis 使用前面相关的“总分”标签:

import requests
from lxml.html import fromstring


url = "http://results.vtu.ac.in/results/result_page.php?usn=3ae13cs089"

response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Safari/537.36'})

root = fromstring(response.content)
summary_data_xpath = './/td[b = "Total Marks"]/following-sibling::td/b'
data = root.xpath(summary_data_xpath)[0].text.strip(": ")
print(data)

打印 515。