python - 如何在 Python 中使用 Twitter API 更快地收集推文？

Question

对于一个研究项目，我正在使用 Python-Twitter 收集推文。然而，当我们在一台计算机上不间断地运行我们的程序一周时，我们每周只能收集大约 20 MB 的数据。我只在一台机器上运行这个程序，这样我们就不会收集两次相同的推文。

我们的程序运行一个循环，每 60 秒调用一次 getPublicTimeline()。我试图通过对出现在公共(public)时间线上的一些用户调用 getUserTimeline() 来改进这一点。然而，这一直让我每次被禁止收集推文大约半小时。即使没有禁令，似乎通过添加此代码也几乎没有加速。

我知道 Twitter 的“白名单”允许用户每小时提交更多请求。我大约三周前申请了这个，此后一直没有收到回复，所以我正在寻找替代方案，让我们的程序能够更有效地收集推文，而不会超过标准速率限制。有谁知道从 Twitter 收集公共(public)推文的更快方法？我们希望每周获得大约 100 MB。

谢谢。

Answer 1

如何使用 streaming API ？这正是它为解决而创建的用例。使用流式 API，您可以轻松收集数兆字节的推文。不过，如果未获得 Twitter 的访问权限，您仍然无法访问所有推文，甚至无法访问具有统计意义的样本。