java - 抓取 url 不变的网站

Question

已关闭。此问题需要 debugging details 。目前不接受答案。

---

编辑问题以包含 desired behavior, a specific problem or error, and the shortest code necessary to reproduce the problem 。这将有助于其他人回答问题。

已关闭 7 年前。

Improve this question

我目前正在抓取这个网站。

http://www.davidsassoonlibrary.com/index.php?action=book_details

但无论我搜索哪本书，URL 都保持不变。我对网络抓取完全陌生。我已经使用 Jsoup 抓取了 2 个页面，并尝试对该网站执行相同的操作。

任何人都有任何想法。请尽可能详细地解释。谢谢

Answer 1

您应该使用post请求来抓取带有一些参数搜索和标题的网页，尝试下面的代码:

Document doc = Jsoup.connect("http://www.davidsassoonlibrary.com/index.php?action=book_details")
  .data("search", "search")
  .data("title", "Test Cricket Lists")
  //fields which are being passed in post request.
  .userAgent("Mozilla")
  .post();
   System.out.println(doc); // will print html source

这是控制台上的结果:

您可以使用firebug来确定调用了哪个URL、方法GET或POS以及参数。