python - 使用selenium解析网页时的表单、输入问题

Question

我正在使用 selenium 和 beautifulsoup4 解析网页，我在解析特定网页时遇到问题。

当我实际查看该页面上的 html 源代码并使用 selenium 或 bs4 进行解析时，我得到了不同的 html 源页面。区别在于形式和输入的存在。

当我解析该页面时，我得到了 html

<form action="" method="post" name="fmove">
<input name="goAction" style="display:none" type="submit"/>
</form>

我找不到要输入或提交的内容。请让我理解这个问题。谢谢!

Answer 1

我将专注于“[查找]要输入或提交的内容”，而不涉及更广泛的问题。即便如此，如果与该页面关联的代码未安排填充表单的 action 属性和/或其某些 input 元素，我告诉您的内容并不能保证产生答案带有 name 和 value 对。

首先，在 Chrome 浏览器中打开页面。使用上下文菜单中的项目“检查”屏幕上的元素，以查找最终提交该表单的 Javascript。在发生这种情况的代码行上放置一个断点。现在重新加载页面 (F5) 并练习表单。代码应该在断点处停止。您应该能够在屏幕的最右侧部分看到 form 元素的属性，包括 action 和名称-值对，您可以在其中复制它们以供使用在您自己的代码中。

PS:我真的必须提到，如果不知道您正在抓取哪个网站，就很难确定其中的很多内容。祝你好运!