python - 在 python BeautifulSoup4 中，将字符串转换为 find() 的参数

Question

我有一个简单的 Python 脚本，它使用 BeautifulSoup 来查找 HTML 树的一部分。例如，要查找 <div id="doctext"> 中的所有内容标记，脚本执行此操作:

html_section = str(soup.find("div", id="doctext"))

我希望能够为 find() 提出论据但是，根据输入文件中给出的字符串而有所不同。例如，用户可以向脚本提供一个 URL 后跟一个类似 "div", id="doctext" 的字符串。 ，脚本会相应地调整查找。假设输入文件如下所示:

http://www.example.com | "div", id="doctext"

脚本拆分行以获取 URL，这工作正常，但我希望它也获取参数。例如:

vars = line.split(' | ')
html = urllib2.urlopen(vars[0]).read()
soup = BeautifulSoup(html)
args = vars[1].split()
html_section = str(soup.find(*args))

这行不通——而且可能没有意义，因为我一直在尝试多种方法来做到这一点。如何获取输入文件提供的字符串并将其准备为 soup.find() 的正确语法功能？

Answer 1

你可以这样解析行:

line = 'http://www.example.com | div, id=doctext'
url, args = line.split(' | ', 1)
args = args.split(',')
name = args[0]
params = dict([param.strip().split('=') for param in args[1:]])
print(name)
print(params)

产量

div
{'id': 'doctext'}

然后你可以这样调用soup.find:

html = urllib2.urlopen(url).read()
soup = BeautifulSoup(html)
html_section = str(soup.find(name, **params))

---

警告:请注意，如果 doctext(或其他一些关键字参数)包含逗号，则

args = args.split(',')

会将参数分割在错误的地方。如果您正在搜索某些包含逗号的 text 内容，则可能会出现此问题。

---

所以让我们寻找一个更好的解决方案:

为避免上述问题，您可以考虑使用 JSON format对于参数:如果 line 看起来像这样:

'http://www.example.com | ["div", {"id": "doctext"}]'

然后你可以解析它

import json
line = 'http://www.example.com | ["div", {"id": "doctext"}]'
url, arguments = line.split('|', 1)
url = url.strip()
arguments = json.loads(arguments)
args = []
params = {}
for item in arguments:
    if isinstance(item, dict):
        params = item
    else:
        args.append(item)

print(args)
print(params)

产生

[u'div']
{u'id': u'doctext'}

然后你可以用

调用 soup.find

html_section = str(soup.find(*args, **params))

另一个优势是您可以提供任意数量的 soup.find's positional arguments (对于 name、attrs、recursive 和 text)，而不仅仅是 name.