java - 从 Java 与 AJAX 站点交互

Question

我正在尝试下载网站的内容。该站点是一个万磁王站点，可以通过选择侧边栏上的属性来过滤结果。请参阅 zennioptical.com 了解一个很好的示例。

我正在尝试下载网站的内容。因此，如果我们使用 zennioptical.com 作为示例，我需要下载所有矩形眼镜。或者所有塑料等..

那么如何向服务器发送请求以仅显示矩形框等？

非常感谢

Answer 1

基本答案是您需要使用正确的查询参数执行 HTTP GET 请求。根据您的问题，不完全确定您要如何尝试执行此操作，因此这里有两个选项。

如果您尝试通过 javascript 执行此操作，您可以查看 this question 。它有一堆答案，展示了如何使用内置的 XMLHttpRequest 执行 AJAX GET。或与 jQuery .

如果您尝试从 java 应用程序下载页面，这实际上根本不涉及 AJAX。您仍然需要执行 GET 请求，但现在您可以查看 this other question一些想法。

无论您使用的是 javascript 还是 java，困难的部分都是找出要查询的正确 URL。如果您尝试抓取其他人的网站，则在过滤结果时必须查看浏览器请求的 URL。查看该信息的最简单方法之一是在 Firefox 中使用 Web Console发现于Tools -> Web Developer -> Web Console 。您还可以下载类似 Wireshark 的内容这是一个很好的工具，但对于您的需要来说可能有点过分了。

编辑

例如，当我在 zenni Optical 单击“矩形框架”选项时，这是在 Web Console 中触发的查询。 :

[16:34:06.976] GET http://www.zennioptical.com/?prescription_type=single&frm_shape%5B%5D=724&nav_cat_id=2&isAjax=true&makeAjaxSearch=true [HTTP/1.1 200 OK 2328ms]

您必须执行足够多的操作才能弄清楚如何生成 URL 以获得您想要的结果。

免责声明

如果您要下载其他人的数据，最好先与他们核实。服务器的所有者可能不会意识到他们可能认为窃取他们的数据/工作。然后，根据您如何使用提取的数据，您可能会冒险陷入各种道德问题……再说一次，如果您从自己的网站下载，那就去下载吧。