mysql - 如何有效地在数据库表中搜索一段文本中子字符串的所有组合？

Question

所以假设我有一个包含数十万个标签/关键字的 MySQL 表，以及一段用户提供的任意大小的文本，从这段文本中提取所有关键字的最有效方法是什么(关键字可以是数据库表中存在的一个或多个单词？

我正在寻找一种高效的算法/策略。

例如，请考虑以下随机段落:“8 月 21 日是美国大 eclipse ，这是自 1979 年以来第一次触及美国大陆的日全食，也是自 Reddit 创建以来的第一次日全食。我们需要你的帮助来收集关于动物如何对 eclipse 使用react，为了科学!🌞 了解您可以如何在评论中提供帮助。”

考虑到“八月”、“美国大 eclipse ”、“ eclipse ”、“美国”、“为了科学!”都是数据库表中的现有标签，我需要一种方法来有效地从数据库中返回所有这些标签。

任何建议都会有所帮助。

Answer 1

全文索引可能是一个常见的建议，但在这种情况下它不会有帮助，因为您试图在 input 中查找关键字，而不是在已经索引的文本中。您在做相反的事情，即在许多索引文档中搜索一个词。

您可以这样进行搜索:

SELECT t.tag
FROM tags AS t
WHERE ? LIKE CONCAT('%', t.tag, '%')

您会将用户输入的段落绑定(bind)到参数占位符?。

它会很慢。这可能需要 10 到 30 秒，具体取决于服务器的功率和服务器上的其他并发负载。

但好消息是每次输入只需执行一次(如果将结果保存在多对多表中)。