java - 如何使用 Java 导航 Web 搜索

Question

我需要为一个项目抓取法国法院案件，但我不知道如何让 Java 导航法院的搜索引擎。

Here's the search page我需要操纵。我想开始抓取结果页面，但我无法仅使用 URL 从 Java 访问该页面。我需要某种方法让 Java 命令服务器根据我的日期参数 (01/01/2003 - 30/06/2003) 执行搜索，然后我可以通过简单地操作我连接到的 URL 来运行节目.

有什么建议吗？

Answer 1

首先确保网站的服务条款允许这样做。

我会httpclient posts 发送数据并获取结果。查看页面上的表单，找出需要模拟哪些变量并使用 httpclient 提交它们。您应该得到您正在寻找的结果。另外这个页面有很多 javascript，所以你需要弄清楚它在做什么，也许它从来没有提交表单，而是进行 ajax 调用来更新页面，但也许你可以获得相同的结果。

您始终可以安装类似“fiddler ”的内容并观察页面发送的 http 流量，然后使用 httpclient 进行模拟。