javascript - 如何抓取将所有交互都作为回发进行的 ASP.NET 站点？

Question

我使用 Python 为 ASP.NET 站点(特别是 Jenzabar 类(class)搜索 portlet)构建了一个抓取工具，它将创建一个新 session 、加载第一个搜索页面，然后通过回发所需字段来模拟搜索。然而，有些事情发生了变化，我不知道是什么，现在我得到了对所有内容的 HTTP 500 响应。我可以看到浏览器的 POST 数据中没有新字段。

我理想地想弄清楚如何修复我自己的抓取工具，但是如果不包含大量特定上下文，这可能很难在 StackOverflow 上询问，所以我想知道是否有一种方法可以将页面视为黑盒，只需在我想要的回发链接上触发单击事件，然后获取结果的 HTML。

我在这里看到了一些关于使用 JavaScript 进行抓取的答案，但它们似乎主要关注等待 JavaScript 加载，然后返回页面的规范化表示。我想模拟浏览器实际单击链接并遵循相同的路径来执行请求。

Answer 1

在不知道任何细节的情况下，我的预感是您正在使用硬编码的 session ID，并且 Web 服务器的应用程序域回收并创建了新的加密/解密 key ，从而使您的硬编码 session ID(由旧 key 加密)无用。