javascript - 使用 python 解析网页上的 HTML 和脚本？

Question

我目前正在使用 Beautiful Soup 来解析网页的 HTML。但是，我还想递归地解析网页上的任何 .js 文件。我的目标是查找嵌入在网站的 HTML 或 javascript 中的某些 URL。我可以使用基本 HTML 页面来完成此操作，但进入 javascript 文件却难倒了我。有什么帮助吗？

Answer 1

按照 this StackOverflow question 已接受的答案中列出的步骤进行操作。然后，您可以使用例如优秀的 requests library 来请求资源。 :

import requests

r = requests.get("http://ajax.googleapis.com/ajax/libs/jquery/1.7.1/jquery.min.js")

然后您可以搜索r.text using regex找到您正在寻找的任何链接。

如果您仍然需要解析 javascript，那么最新的答案 this StackOverflow question推荐slimit一旦你有了JavaScript。