php - 使用 PHP(或查询)在 MySQL 数据库中使用超过数千行的常用词

Question

我有一个包含大量记录的 MySQL 数据库。对于每条记录，都有一个名为“评论”的文本字段，我在下面放了 3 个示例:

• “非常快的付款，谢谢。”
• “喜欢谢谢你”
• “快速交货谢谢你”

我的问题是:

我如何查询每条记录，查看“评论”字段的内容，然后计算出使用的前 20 个词是什么？

例如使用单词上方的 3 条评论

• “谢谢”出现3次，
• “快”2次
• 其余的词只用了一次。

我猜我需要使用 PHP 来处理每条记录，使用“”(空格)展开，删除逗号和句号等字符，然后存储结果并计算这些记录。

但我真的不确定最好的方法，也不确定如何处理复数形式，例如“谢谢”和“谢谢”。因此问题:)

马特

Answer 1

因为它们都在一列中，所以您实际上不能在这里进行太多 SQL 过滤。

如果数据集不是太大(即 php 耗尽大量内存)，那么您应该能够将其读入 php 并进行处理。

您可以使用 explode 在空间上进行拆分并将数据作为一个巨大的数组来处理。您可以使用 preg_match 函数进行字符串比较操作，请参阅:http://us3.php.net/preg_match - 您应该花一些时间研究正则表达式。

如果你正在寻找像 SELECT COUNT(comment) where comment like '%thank%' 这样的特定内容，那么在 where 子句中使用 SQL like 函数会更容易，但你会手动执行此操作。

此外，您可能需要考虑将其转储到一个文件中并使用基于 unix 的命令，如 wc，这可以帮助您完成您所追求的。如果您处于类 unix 环境中，也可以使用 PHP 与这些命令进行交互。

除了编写代码之外，我无法告诉您更多信息。