gpt4 book ai didi

java - 使用 crawler4j 发送请求中的 cookie?

转载 作者:塔克拉玛干 更新时间:2023-11-02 18:59:44 25 4
gpt4 key购买 nike

我需要获取一些链接,这些链接取决于 GET 请求中发送的 cookie。所以当我想用 crawler4j 抓取页面时,我需要用它发送一些 cookie 以获取正确的页面。

这可能吗(我在网上搜索过,但没有找到有用的东西)?或者是否有能够执行此操作的 Java 爬虫?

感谢任何帮助。

最佳答案

看起来 crawler4j 可能不支持 cookie:http://www.webuseragents.com/ua/427106/crawler4j-http-code-google-com-p-crawler4j-

有几种选择:

  • 纳奇
  • 继承人
  • WebSPHINX
  • JS 蜘蛛
  • WebEater
  • WebLech
  • 蛛形纲动物
  • 乔波
  • 网络收获
  • 前爬虫
  • 比克索

我会说 Nutch 和 Heritrix 是最好的,我会特别强调 Nutch,因为它可能是为数不多的设计用于良好扩展并实际执行大型爬网的爬虫之一。

关于java - 使用 crawler4j 发送请求中的 cookie?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8536557/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com