python - 使用 Xpath 从网页获取字符串

Question

我正在尝试从此网页获取uniprot ID:ENSEMBL 。但我在使用 xpath 时遇到了问题。现在我得到一个空列表，我不明白为什么。

我的想法是编写一个小函数，获取 ENSEMBL ID 并返回 uniprot ID。

import requests
from lxml import html
ens_code = 'ENST00000378404'
webpage = 'http://www.ensembl.org/id/'+ens_code

response = requests.get(webpage)
tree = html.fromstring(response.content)

path = '//*[@id="ensembl_panel_1"]/div[2]/div[3]/div[3]/div[2]/p/a'

uniprot_id = tree.xpath(path)

print uniprot_id

如有任何帮助，我们将不胜感激:)

它仅打印现有列表，但仍返回 Nonetype 列表。

def getUniprot(ensembl_code):

    ensembl_code = ensembl_code[:-1]
    webpage = 'http://www.ensembl.org/id/'+ensembl_code
    response = requests.get(webpage)
    tree = html.fromstring(response.content)
    path = '//div[@class="lhs" and text()="Uniprot"]/following-sibling::div/p/a/text()'

    uniprot_id = tree.xpath(path)
    if uniprot_id:
        print uniprot_id
        return uniprot_id

Answer 1

为什么您得到一个空列表是因为您似乎使用了右键单击并选择复制xpath时chrome提供的xpath ，您的 xpath 不返回任何内容的原因是因为该标记不在源中，它是动态生成的，因此请求返回的内容不包含该元素。

In [6]: response = requests.get(webpage)

In [7]: "ensembl_panel_1" in response.content
Out[7]: False

您应该始终检查页面源代码以查看实际返回的内容，您在开发者控制台中看到的内容不一定是您下载源代码时获得的内容。

如果页面上还有其他 http://www.uniprot.org/uniprot/，您还可以使用特定的 xpath，在 div 中搜索带有 "lhs 的类" 和文本 Uniprot 然后从第一个 anchor 标记获取文本:

 path = '//div[@class="lhs" and text()="Uniprot"]/following::a[1]/text()'

这会给你:

['Q8TDY3']

您还可以选择以下同级 div，其中 anchor 位于其子 p 标记内:

path =  '//div[@class="lhs" and text()="Uniprot"]/following-sibling::div/p/a/text()'