java - 实现 twitter 和 facebook 之类的主题标签

Question

这可能看起来很傻......而且是一个没有研究的问题，但相信我不是。我对此进行了一些研究。其中之一是以下链接: http://www.quora.com/Twitter-1/How-does-Twitter-implement-hashtags

另外我不是在这里寻找完整的解决方案。我会努力工作，但我只需要一些指导，只是想知道我应该采用哪种方式？

我想为我的应用程序实现 twitter 甚至 facebook 之类的主题标签。这样用户可以添加带有主题标签的消息，其他人可以搜索它们。比如什么是趋势和什么是相关的。

我们在我们的存储技术堆栈中使用 Mysql、mongo 和 elasticsearch。任何想法我怎么能开始努力实现这一点？我需要另一个存储空间吗？一种方法是我可以将我的 hastags 存储在 db 中，然后在 Elasticsearch 中对它们进行文本搜索。

在这个领域有更多经验的人可以在这里提出什么建议？

Answer 1

从 MongoDB 开始，将解析每条消息以查找用户使用的主题标签，并将它们放入文档的子数组中。状态更新示例:

Peter

April 29th 2014 12:28:34

Hello friends, I visited the #tradeshow in #washington and drank a delicious #coffee

此消息在 MongoDB 中将如下所示:

{
    author: "Peter",
    date: ISODate("2014-04-29 12:28:34"),
    text: "Hello friends, I visited the #tradeshow in #washington and drank a delicious #coffee",
    hashtags: [
        "tradeshow",
        "washington",
        "coffee"
    ]
}

当您随后在 db.collection.hashtags 上创建索引时，您可以快速搜索包含这些主题标签之一的所有消息。您可能希望按日期对结果进行排序和限制，以便用户首先看到最新的结果。当你把它变成一个包含日期的复合索引时，你也可以加快速度。

如何实现“趋势”主题是一个相当复杂的问题。这也是非常主观的，这取决于您认为“趋势”是什么。 Twitter 或 Facebook 用来确定哪些主题是热门话题的确切算法是不公开的。根据各种社交媒体分析师的说法，他们也经常更改它们，因此我们可以假设它们现在相当复杂。

这意味着我们无法帮助您自己提出算法。但是，如果您已经想到了一种算法来计算主题标签的“流行度”，我们可以帮助您找到一个好的实现方式。