Python 3.4 : LXML web scraping

Question

我正在使用以下代码尝试返回该网站上的股票代码列表。代码的结果是一个空列表。我从 google chromium 开发人员工具复制 xpath。我究竟做错了什么？

from lxml import html
import requests


url = 'http://en.wikipedia.org/wiki/List_of_S%26P_500_companies'

resp = requests.get(url)
tree = html.fromstring(resp.text)

tickers = tree.xpath(r'//*[@id="mw-content-text"]/table[1]/tbody/tr[1]/td[1]/a')

print(tickers)

Answer 1

浏览器添加缺失的 HTML 元素，HTML 规范规定这些元素是模型的一部分。 lxml不添加那些。

最常见的此类元素是 <tbody>元素。您的文档没有这样的元素，但 Chrome 有，并且它们将其放入您的 XPath 中。 <thead> 中的另一个这样的元素元素;再说一遍，原来的 HTML 缺少它，但 Chrome 将其放入并放入了 <tr>排与 <th>其中的元素。

因此，正确的 XPath 表达式是:

tickers = tree.xpath(r'//*[@id="mw-content-text"]/table[1]/tr[2]/td[1]/a')

例如表格中的第二行，该行中的第一个表格单元格。

请注意lxml可以直接加载URL；你真的不需要使用 requests在这种具体情况下:

>>> from lxml import html
>>> url = 'http://en.wikipedia.org/wiki/List_of_S%26P_500_companies'
>>> tree = html.parse(url)
>>> tree.xpath(r'//*[@id="mw-content-text"]/table[1]/tr[2]/td[1]/a')
[<Element a at 0x10445e628>]
>>> tree.xpath(r'//*[@id="mw-content-text"]/table[1]/tr[2]/td[1]/a')[0].text
'MMM'
>>> tree.xpath(r'//*[@id="mw-content-text"]/table[1]/tr[2]/td[1]/a')[0].attrib['href']
'https://www.nyse.com/quote/XNYS:MMM'

如果你想提取所有<a>第一列中的元素，您必须删除对 <tr> 的限制元素;您的 XPath 选择全部，删除 [1]选择全部:

links = tree.xpath(r'//*[@id="mw-content-text"]/table[1]/tr/td[1]/a')
for link in links:
    print(link.text, link.attrib['href'])