java - 从 Twitter JSON Feed 中提取信息

Question

我有一个巨大的(GB 级)JSON 格式的 Twitter 数据源需要分析。每条推文都表示为一个 json 对象。我需要对这些数据进行一些分析，例如

a:从这些提要中提取对话。b:查找统计数据

记录的示例格式 https://gist.github.com/hrp/900964

1.请提出提取所需信息的一般方法。2.最好使用的语言(Java或任何其他)3.如果用java完成流程概述(如文件处理等)4.与此问题相关的任何有用的引用链接。

注意:数据由数百万个 JSON 对象组成。

Answer 1

在我看来，运行数据分析的最佳语言是 R。在您的情况下，您已经有了 twitter 数据，但如果您想查询 twitter 数据，您可以使用已准备好使用的 R 包而且非常方便:

-twitteR:您连接到 Twitter API 并可以进行查询 http://cran.r-project.org/web/packages/twitteR/index.html

-streamR:连接 Twitter Streaming API 以实时获取推文 http://cran.r-project.org/web/packages/streamR/index.html

然后只需谷歌一下如何使用 R 来挖掘 Twitter 数据，就会有很多文章，其中包含关于如何做到这一点的好方法、创建漂亮的可视化效果等，这将为您提供非常好的见解。其中大多数都基于名为“tm”的包，这是文本挖掘中最流行的 R 包: http://cran.r-project.org/web/packages/tm/index.html

这里有一些有趣的入门链接:

http://www.r-bloggers.com/analyze-twitter-data-using-r/

http://www.rdatamining.com/examples/text-mining

希望对你有帮助!