r - 推特 API 速率限制

Question

我想在几周内从 Twitter 收集数据。

为此，我使用 RStudio Server 和 crontab 自动运行多个脚本，如下所示:

require(ROAuth)
require(twitteR)
require(plyr)

load("twitter_authentication.Rdata")
registerTwitterOAuth(cred)

searchResults <- searchTwitter("#hashtag", n=15000, since = as.character(Sys.Date()-1), until = as.character(Sys.Date()))
head(searchResults)

tweetsDf = ldply(searchResults, function(t) t$toDataFrame())
write.csv(tweetsDf, file = paste("tweets_test_", Sys.Date() - 1, ".csv", sep = ""))

有时，我的每个主题标签只有几条推文(最多 100 条)，因此脚本运行顺利。然而，在其他日子里，某个主题标签会有数千条推文(当然我使用的不是“主题标签”一词，而是我学习所需的术语)。

我可以将 retryOnRateLimit=10 添加到 serchTwitter。但是当我每天搜索多个主题标签时，我应该如何在 crontab 中计时这些查询？

为了组织这些查询，我需要知道在 15 分钟的时间间隔内运行一次脚本可以收集多少条推文!有人知道答案吗？ (当然，根据Twitter API rate limits，我可以做到

180 queries per 15 minute window

但这是多少条推文？)

Answer 1

与其每隔几分钟执行一次搜索，不如使用 Streaming API

这将为您提供流经 Twitter 的所有数据的实时提要。您可以为搜索词设置过滤器。

没有这样的“速率限制”——您只需建立一个持久连接，Twitter 就会提供与您的搜索词匹配的所有推文的样本。