python-2.7 - 网络爬虫随着时间的推移变得越来越慢

Question

我正在做一个数据提取项目，需要我构建一个使用 python 编写的网络抓取程序，使用 selenium 和 phantomjs headless webkit 作为浏览器来抓取 facebook 中的好友列表等公共(public)信息。该程序启动速度相当快，但一天后运行速度越来越慢，我不明白为什么？谁能告诉我为什么它变得越来越慢？我正在本地计算机上运行，​​该计算机具有 4GB 内存和四核处理器的规范。 FB是否提供任何API来寻找 friend 的 friend ？

Answer 1

我们遇到了同样的问题。我们通过在特定时间间隔后自动关闭浏览器来解决此问题。清除临时缓存并打开新的浏览器实例并继续该过程。