个人中心
文章发布
退出
作者热门文章
- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时，我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
25
4
我有一个 HTML 页面，其树的一部分看起来像这样(请参阅下面包含 html 的代码片段):
<body>
| |
| |
<div id="Kentucky"> <div id="NewOrleans">
| |
| |
Bourbon Bourbon
为什么BeautifulSoup表明“左”波本威士忌是“Kentucky”(正确)和“NewOrleans”(错误)的子代？
反之亦然，正确的波旁威士忌是“肯塔基州”的子代(不正确)。
整个页面有不同的 html 元素，所有元素都具有相同的文本并不罕见(例如在页眉、页脚)。但现在，在我对某些文本模式执行 find_all() 后，在使用 header.children 或 footer.children 正确识别文本元素是否为其中任一元素的子元素时，我无法信任 BeautifulSoup。
(就像在一家公司中，工程和营销部门都声称某个特定的员工属于他们，仅仅因为她的名字是“Sarah” - 公司中可能有多个 Sarah - first_name 属性是只是该对象的众多对象之一，它不应该仅仅确定身份。)
这样的事情可以避免吗，或者，还有什么方法可以找到找出一个元素的正确子元素？
请注意，NavigableString 类的 MRO 以“str”开头:
<class 'str'>, <class 'bs4.element.PageElement'>, <class 'object'>
我想这似乎表明问题的原因是 BeautifulSoup 是使用字符串比较来确定元素之间的相等(或身份匹配)。
无论这是否确实是问题，是否有替代方案或修复/补丁？
谢谢!
代码:
import re
from bs4 import BeautifulSoup
TEST_HTML = """<!doctype html>
<head><title>A title</title></head>
<html>
<body>
<div id="Kentucky">Bourbon</div>
<div id="NewOrleans">Bourbon</div>
</body>
</html>
"""
def test():
soup = BeautifulSoup(TEST_HTML)
# search for "Bourbon"
re_pattern = re.compile('bourbon', re.IGNORECASE)
text_matches = soup.find_all(text=re_pattern)
# print verbose debug output...
for text_match in text_matches:
print('id: {} - class: {} - text: {} - parent attrs: {}'.\
format(id(text_match),
text_match.__class__.__name__,
text_match.string,
text_match.parent.attrs))
# id: 140609176408136 - class: NavigableString - text: Bourbon - parent attrs: {'id': 'Kentucky'}
# id: 140609176408376 - class: NavigableString - text: Bourbon - parent attrs: {'id': 'NewOrleans'}
kentucky_match = text_matches[0]
kentucky_parent = kentucky_match.parent
new_orleans_match = text_matches[1]
new_orleans_parent = new_orleans_match.parent
# confirm -> all ok...
print(kentucky_parent.attrs) # {'id': 'Kentucky'}
print(new_orleans_parent.attrs) # {'id': 'NewOrleans'}
# get a list of all the children for both kentucky and new orleans
# (this tree traversal is all ok)
ky_children = [child for child in kentucky_parent.children]
no_children = [child for child in new_orleans_parent.children]
# confirm -> all ok...
print([id(child) for child in ky_children]) # [140609176408136]
print([id(child) for child in no_children]) # [140609176408376]
# now, here's the problem!!!
print(kentucky_match in no_children) # True -> wrong!!!!!!!
print(kentucky_match in ky_children) # True
print(new_orleans_match in no_children) # True
print(new_orleans_match in ky_children) # True -> wrong!!!!!!!
最佳答案
这是因为kentucky_match和new_orleans_match都是 NavigableString 的实例类，它是常规 unicode 的子类字符串。
ky_children和no_children两者基本上都包含一个字符串列表，在您的情况下它只是 [u'Bourbon'] 。和u'Bourbon' in [u'Bourbon']始终评估为 True 。当in检查是否执行字符串比较，而不是 NavigableString类实例。
换句话说，您的 in检查正在字符串列表中查找字符串。
作为解决方法，您可以使用 id()为您in检查:
ky_children = [id(child) for child in kentucky_parent.children]
print(id(kentucky_match) in no_children) # False
print(id(kentucky_match) in ky_children) # True
关于python - BeautifulSoup 错误地检查 NavigableString 元素的子成员身份？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23717842/
25
4
0
我有这个 html 代码: HELLO WORLD! X V HELLO WORLD! X V 我想按 X(类关闭)将父 div 的高度更改为 20px 并显示 V(类打开)，但在每个 d
在会计应用程序的许多不同实现中，有两种主要的数据库设计方法来保存日志和分类帐数据。 只保留 Journal 信息，然后 Ledger 只是 Journal 的一个 View (因为 journal 总
我想在另一个子里面有一个子， sub a { sub b { } } 我想为每次调用 sub b 创建一个新的 sub a 实例。有没有办法在 Perl 中做到这一点？ 当我运行上面的
我有一些代码正在查找重复项并突出显示单元格: Private Sub cmdDups_Click() Dim Rng As Range Dim cel As Range Set Rng = ThisW
可能有一个简单的解决方案，但我很难过。 我有一个包含一个 ID 字段的主表。在两个可能的字段中有一个具有该 ID 的子表。想象一个由选手 A 和选手 B 组成的 double 队。Master 表将有
假设我有一个包含对象的数组: [ { "id": "5a97e047f826a0111b754beb", "name": "Hogwarts", "parentId": "
我正在尝试对 MySQL 数据库表执行一对父/子模型的批量插入，但似乎无法使用标准的 ActiveRecord 功能来完成。所以，我尝试了 activerecord-import gem，但它也不支持
我有一个带有多个子类的父抽象类。最终，我希望通过 GUI 中的进度条显示子类中完成的进度。 我目前所做的，我意识到这是行不通的，是在父类中声明为每个子类将覆盖的虚拟方法的事件方法定义。所以像: pub
是否可以通过键数组在对象中设置变量？例如我有这个对象: var obj = {'outer': {'inner': 'value'} }; 并希望设置由键数组选择的值: var keys = ['ou
我有一个名为 companies 的 MySQL 表，如下所示: +---------+-----------+-----------+ | id_comp | comp_name | id_pare
我正在尝试使用 sublime text 在 sublime text 上的 ionic 上打开我的第一个应用程序。它给了我一个“找不到命令”的错误。如何修复？ 我试过这些命令: sudo rm -r
不好意思问，但我正在使用 webapp2，我正在设计一个解决方案，以便更容易定义路由 based on this google webapp2 route function .但这完全取决于能够在子级
我有代表树的数字字符串(我不知道是否有官方名称): 012323301212 上面的例子代表了 2 棵树。根用 0 表示。根的直接子代为“1”，“1”的直接子代为“2”，依此类推。我需要将它们分组到由
是否可以在当前 Activity 之上添加 Activity 。例如，假设我单击一个按钮，然后它将第二个 Activity 添加到当前 Activity 。而第二个 Activity 只覆盖了我当前
我很难思考如何为子资源建模。 以作者的书籍为例。你可以有 N 本书，每本书只有一位作者。 /books GET /books POST /books/id PUT /books/id DELETE 到
有人可以向我解释以下内容(python 2.7) 来自已解析文件的两个字符串数字: '410.9''410.9 '(注意尾随空格) A_LIST = ['410.9 '] '410.9' in '41
背景 在 PowerShell 中构建 hash table 是很常见的通过特定属性快速访问对象，例如以 LastName 为基础建立索引: $List = ConvertFrom-Csv @' I
我真的很难弄清楚如何调用嵌套 Polymer Web 组件的函数。 这是标记: rise-distribution组件有 canPlay我想从 rise-playlist
我写了一个小工具转储(以 dot 格式)一个项目的依赖关系图，其中所有位于同一目录中的文件都聚集在一个集群中。当我尝试生成包含相应图形的 pdf 时，dot开始哭: 命令 dot -Tpdf trim
给定一个 CODE ref，是否可以: 访问该 CODE ref 的解析树 通过指定 CODE ref 的解析树来创建一个新的 CODE ref，该解析树可以包含在 1 中返回的解析树的元素 通常我们
我是一名优秀的程序员,十分优秀！