python - 使用 Python/Selenium/Best Tool For The Job 获取通过 JavaScript 生成的图像请求的 URI？

Question

我有一些来自第 3 方供应商的 JavaScript，它们正在发起图像请求。我想弄清楚这个图片请求的 URI。

我可以在我的浏览器中加载该页面，然后监控“实时 HTTP header ”或“篡改数据”以找出图像请求 URI，但我更愿意创建一个命令行进程来执行此操作。

我的直觉是使用 python + qtwebkit 可能是可行的，但也许有更好的方法。

澄清一下:我可能有这个(过于简化的代码)。

<script>
suffix = magicNumberFunctionIDontHaveAccessTo();
url = "http://foobar.com/function?parameter=" + suffix
img = document.createElement('img'); img.src=url; document.all.body.appendChild(img);
</script>

然后，一旦页面加载完毕，我就可以通过嗅探数据包来找出 url。但我不能只从源头上弄清楚，因为我无法预测 magicNumberFunction...() 的结果。

如有任何帮助，我们将不胜感激!

谢谢。

Answer 1

最简单的做法可能是使用 HtmlUnit 之类的东西并完全跳过真正的浏览器。通过使用 Rhino，它可以评估 JavaScript 并可能用于提取该 URL。

就是说，如果您不能让它工作，请尝试使用 Selenium RC 并使用 captureNetworkTraffic 命令(这需要使用 captureNetworkTraffic=true 选项启动 Selenium instant)。这将启动配置了代理的 Firefox，然后让您将请求信息作为 JSON/XML/纯文本拉回。然后您可以解析该内容并获得您想要的内容。

试用 instant test tool我公司提供的。如果您要查找的数据在我们的结果中(在您单击“查看详细信息”之后)，您将能够从 Selenium 中获取它。我知道，因为我为我的公司 BrowserMob 编写了用于 Selenium 的 captureNetworkTraffic API。