python - Beautifulsoup 在元标记中找到特定值

Question

我正在尝试查找其中包含作者的所有元标记。如果我有一个特定的键和 Regex 值，它就可以工作。当两者都是正则表达式时，它不起作用。是否可以提取页面上包含“作者”关键字的所有元标记？这是我写的代码。

from bs4 import BeautifulSoup
page = requests.get(url)
contents = page.content
soup = BeautifulSoup(contents, 'lxml')
preys = soup.find_all("meta", attrs={re.compile('.*'): re.compile('author')})

编辑:为澄清起见，我要具体解决的问题是值“author”是否映射到任何键。正如我在各种示例中看到的那样，该键可以是“itemprop”、“name”甚至“property”。基本上，我的问题是提取所有将作者作为其中的值的元标记，而不管该值具有什么键。几个例子就是这样:

<meta content="Jami Miscik" name="citation_author"/>
<meta content="Will Ripley, Joshua Berlinger and Allison Brennan, CNN" itemprop="author"/>
<meta content="Alison Griswold" property="author"/>

Answer 1

如果您正在寻找 citation_author 或 author，您可能会使用 soup.select() 和常规的组合表达式:

from bs4 import BeautifulSoup
import re

# some test string
html = '''
<meta name="author" content="Anna Lyse">
<meta name="date" content="2010-05-15T08:49:37+02:00">
<meta itemprop="author" content="2010-05-15T08:49:37+02:00">
<meta rel="author" content="2010-05-15T08:49:37+02:00">
<meta content="Jami Miscik" name="citation_author"/>
<meta content="Will Ripley, Joshua Berlinger and Allison Brennan, CNN" itemprop="author"/>
<meta content="Alison Griswold" property="author"/>
'''

soup = BeautifulSoup(html, 'html5lib')

rx = re.compile(r'(?<=)"(?:citation_)?author"')

authors = [author 
            for author in soup.select("meta")
            if rx.search(str(author))]

print(authors)