gpt4 book ai didi

mysql - 网络爬虫使用哪个数据库,如何在分布式环境中使用 MySQL?

转载 作者:行者123 更新时间:2023-11-29 01:00:40 25 4
gpt4 key购买 nike

我应该为网络爬虫使用哪个数据库引擎,InnoDB 还是 MYiSAM?我有两台 PC,每台都有 1TB 硬盘。如果一个填满,我希望它自动保存到另一台 PC,但读取应该转到正确的 PC;我该怎么做?

最佳答案

至于你问题的第一部分,这取决于你的具体实现。如果您打算让单个爬虫受网络带宽限制,那么 MYiSAM 会更快。如果您使用多个爬虫,那么 InnoDB 将为您提供诸如事务之类的优势,这可能会有所帮助。

据我所知,MySQL 不支持您建议的硬件配置。如果你需要大存储,你可能想看看 MySQL Cluster。

关于mysql - 网络爬虫使用哪个数据库,如何在分布式环境中使用 MySQL?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3504040/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com