twitter - Twitter 的速率限制是否允许我进行必要的数据挖掘以构建一个大约 60 万用户的完整社交网络图？

Question

主要问题:Twitter 的速率限制是否允许我进行必要的数据挖掘，以构建一个完整的社交网络图，在大约 600K 用户之间具有所有有向边？

这是一个想法:

网络中的边/关系/关系将是追随者/追随者关系。

从大约 600 个 Twitter 用户的特定列表开始，选择这些用户是因为他们都来自大城市的所有新闻媒体。

收集所有 600 个用户的所有关注者和 friend (他们关注的人)。这些用户的平均粉丝数可能为 2,000。他们的 friend (他们关注的人)的平均数量可能为 500。

由于这 600 人的这些追随者都在同一个城市，因此预计这些追随者中的许多人将是追随这 600 人的同一用户。所以让我们近似猜测一下，这 600 个用户总共有大约 600,000 个关注者和 friend 。所以这将是一个包含 600,600 个 Twitter 用户的子图/网络。

因此，一旦我收集了所有这 600 个人的所有 600,000 名关注者和 friend ，我希望能够构建所有这 600,600 人和他们的关注者的社交网络。这将要求我至少能够找到这 600,600 个用户中的所有有向边(无论这 600,600 个用户中的每一个是否相互跟随)。
有了 Twitter 的速率限制，这种数据挖掘是否可行？

Answer 1

我将按相反的顺序回答这些问题，首先从大卫·马克思开始:
嗯，我确实可以访问一个非常强大的计算机研究中心，它拥有大量的存储容量，所以这应该不是问题。不过不知道这个软件能不能搞定。

很有可能我将不得不缩小项目的规模，这没关系。我的想法是从一个更大的想法开始，弄清楚它可以有多大，然后相应地缩减。

现在跟进 Anony-Mousse 的问题:我的部分问题是我不确定我是否正确解释了 Twitter 速率限制。我不确定是每 15 分钟 15 个请求，还是每 15 分钟 30 个请求。而且我认为 1 个请求将获得 5000 个关注者/ friend ，因此如果限制为每 15 分钟 15 个请求，您大概可以每 15 分钟收集 75,000 个 friend 或关注者。我还试图弄清楚是否有任何流程可以为任何类型的研究目的要求更高的速率限制。

这是他们列出限制的地方:
https://dev.twitter.com/docs/rate-limiting/1.1/limits