python - 从网页表格中抓取值

Question

我想从这个 color dictionary 创建一个颜色名称到背景颜色的 python 字典.

访问颜色名称字符串和背景颜色十六进制值的最佳方法是什么？我想为颜色名称创建一个映射 --> 十六进制值，其中 1 个颜色名称映射到 1 个或多个十六进制值。

以下是我的代码:

import requests
from bs4 import BeautifulSoup

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm')
soup = BeautifulSoup(page.text)

我不确定如何指定要从表中抓取的内容。我尝试了以下方法以获得有用的格式:

soup.td
<td nowrap="" width="175*">abbey</td>


soup.get_text()
"(M)\n td { padding: 0 10px; }  \n\n(M) Dictionary of Color  Maerz and Paul, Dictionary of Color, 1st ed.   \n\nabbey207\nabsinthe [green]  120\nabsinthe yellow105\nacacia101102\nacademy blue173\nacajou43\nacanthe95\nacier109\nackermann's green137\naconite violet223....
.............\nyolk yellow84\nyosemite76\nyucatan5474\nyucca150\nyu chi146\nyvette violet228\n\nzaffre blue  179182\nzanzibar47\nzedoary wash71\nzenith [blue]  199203\nzephyr78\nzinc233265\nzinc green136\nzinc orange5053\nzinc yellow84\nzinnia15\nzulu47\nzuni brown58\n\n"


soup.select('tr td')
[...
<td nowrap="" width="175*">burnt russet</td>,
 <td style="background-color:#722F37; color:#FFF" title="16">16</td>,
 <td style="background-color:#79443B; color:#FFF" title="43">43
 </td>,
 <td nowrap="" width="175*">burnt sienna</td>,
 <td style="background-color:#9E4732; color:#FFF" title="38">38
 </td>,
 ...]

编辑:我想抓取 td 元素中的字符串，例如“burnt russet”作为颜色和以下 td 元素中的字符串(十六进制组件)，其中“style”属性被指定为背景颜色。

我希望字典如下所示:

color_map = {'burnt russet': [#722F37, #79443B], 'burnt sienna': [#9E4732]}

Answer 1

只需查找带有 nowrap 的 tds，提取文本并获取以下兄弟 td 的 style 属性:

import requests
from bs4 import BeautifulSoup

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm')
soup = BeautifulSoup(page.content)
for td in soup.select("td[nowrap]"):
    print(td.text, [sib["style"] for sib in td.find_next_siblings("td")])

输出片段:

 (u'abbey', ['background-color:#604E97; color:#FFF'])
(u'absinthe [green]  ', ['background-color:#8A9A5B'])
(u'absinthe yellow', ['background-color:#B9B57D'])
(u'acacia', ['background-color:#EAE679', 'background-color:#B9B459'])
(u'academy blue', ['background-color:#367588'])
(u'acajou', ['background-color:#79443B; color:#FFF'])
(u'acanthe', ['background-color:#6C541E; color:#FFF'])
(u'acier', ['background-color:#8C8767'])
(u"ackermann's green", ['background-color:#355E3B; color:#FFF'])
(u'aconite violet', ['background-color:#86608E'])
(u'acorn', ['background-color:#7E6D5A; color:#FFF'])
(u'adamia', ['background-color:#563C5C; color:#FFF'])
(u'adelaide', ['background-color:#32174D; color:#FFF'])

如果您只想要十六进制值，您可以在 "; " 上拆分样式文本，然后在 : 上拆分子字符串:

page = requests.get('http://people.csail.mit.edu/jaffer/Color/M.htm')
soup = BeautifulSoup(page.content)
d = {}
for td in soup.select("td[nowrap]"):
    cols = td.find_next_siblings("td")
    d[td.text] = [st.split(":", 1)[-1] for sib in cols for st in sib["style"].split("; ")]

print(d)

这会给你一个像这样的字典:

{u'moonlight ': ['#FAD6A5', '#BFB8A5'], u'honey bird': ['#239EBA'], u'monte carlo ': ['#007A74', '#317873'],...............

您需要使用 lxml 或 html5lib 作为解析器来处理损坏的 html。我假设您正在使用其中之一，就好像您不会得到您所做的输出一样。