gpt4 book ai didi

mongodb - Crawler4j 与 mongoDB

转载 作者:可可西里 更新时间:2023-11-01 10:04:15 27 4
gpt4 key购买 nike

我正在研究 crawler4j。我发现它使用 BerkeleyDB 作为数据库。我正在使用 mongoDB 开发一个 Grails 应用程序,并且想知道 crawler4j 在我的应用程序中工作的灵 active 。我基本上是想把爬取的信息存储在mongodb数据库中。是否可以以使用 mongoDB 而不是 BerkeleyDB 作为默认数据存储的方式配置 crawler4j?任何的意见都将会有帮助。谢谢

最佳答案

没有可配置的dao层,但是你可以操作它。

有 3 个 dao 类。 Counters 类保存“预定”和“已处理”页面总数(这仅用于统计)。 DocIDServer 类保存用于解析新 url 的 url-id 对。 Frontier 类保存要抓取的页面的队列。只保留方法逻辑和转换 block 。

关于mongodb - Crawler4j 与 mongoDB,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24496471/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com