python - 如果我使用 lxml 而不是 BeautifulSoup，我会更好地控制我的蜘蛛吗？

Question

很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它， visit the help center 。

已关闭 10 年前。

我正在学习制作蜘蛛和爬虫。爬行是我的热情所在，我将长期从事这一工作。为了解析，我正在考虑使用 BeautifulSoup。但有人说如果我使用lxml，我会有更多的控制权。

现在我知道的不多。但我准备努力工作，即使使用 lxml 更困难。但如果这能让我完全控制，那么我就准备好了。

那么你的看法如何？

Answer 1

我真的不认为这个问题有多大意义。您需要更多地解释您的目标到底是什么。 BeautifulSoup 和 lxml 是两个工具，它们在很大程度上执行相同的操作，但具有不同的功能以及 API 原理和结构。

这不是“哪个给你更多控制权”的问题，而是“哪个工具最适合这项工作？”的问题。我两者都用。我更喜欢 BeautifulSoup 语法，因为我发现它更自然，但我发现当我尝试基于变量动态解析未知量时，lxml 更好 - -例如，生成包含变量值的 XPath 字符串，然后我将使用它从不同页面中提取特定元素。

实际上，这取决于您想要做什么。

TL;DR

我发现 BeautifulSoup 使用起来更简单、更自然，但 lxml 最终更加强大和通用。此外，毫无疑问，lxml 赢得了速度竞赛。