gpt4 book ai didi

c++ - 爬虫存储系统所需的建议

转载 作者:太空宇宙 更新时间:2023-11-04 14:33:00 26 4
gpt4 key购买 nike

我打算用 C++ 编写一个网络爬虫,每天爬取 N 个页面。主要问题是我对存储系统感到困惑。所以我需要一个分布式数据库来有效地存储我的爬网数据。谁能建议我满足条件的数据库?

最佳答案

MongoDB 可能是一个不错的选择,因为它以直接高效的方式支持几乎所有需求(包括一个不错的查询 API)。分发是通过“分片”完成的。

不要要求比较数据库(经常讨论包括 stackoverflow )。

关于c++ - 爬虫存储系统所需的建议,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5369289/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com