python - 从 Redisearch 索引中获取单词列表，按最常见的出现排序

Question

我有一个简单的 redisearch 索引，我用 Python 创建它:

>>> from redisearch import Client, TextField
>>> c = Client('common_words')
>>> c.create_index((TextField('body'),))
b'OK'
>>> c.add_document('ibiza', body='kevin paul dad')
b'OK'
>>> c.add_document('england', body='kevin dad')
b'OK'
>>> c.add_document('bank', body='kevin robber')
b'OK'

然后我可以搜索特定的单词，效果很好:

>>> c.search('kevin')
Result{3 total, docs:
   [Document {'id': 'bank', 'payload': None, 'body': 'kevin robber'},
    Document {'id': 'england', 'payload': None, 'body': 'kevin dad'},
    Document {'id': 'ibiza', 'payload': None, 'body': 'kevin paul dad'}
   ]}

有没有一种快速的方法来提取单词列表以及出现的情况？我的目标是这样的结果:

{ Result{4 total, counts:
   [ Word { 'word': 'kevin', 'count': 3},
     Word { 'word': 'dad', 'count': 2 },
     Word { 'word': 'paul', 'count': 1 },
     Word { 'word': 'robber', 'count': 1 } ] }

我看过this example介绍了如何使用 nltk 和 zincrby 进行字数统计，但想知道是否已经有一种方法可以从 redisearch 本地获取此内容。

Answer 1

当前唯一的方法是使用聚合 ( https://oss.redislabs.com/redisearch/Aggregations.html )。您可以询问所有结果，然后加载您感兴趣的字段，用“，”分割句子，并计算每个短语出现的次数。查询将如下所示:

127.0.0.1:6379> FT.AGGREGATE idx * LOAD 1 @test APPLY "split(@test, ' ')" as s 
GROUPBY 1 @s REDUCE count 0 as count
1) (integer) 4
2) 1) s
   2) "paul"
   3) count
   4) "1"
3) 1) s
   2) "kevin"
   3) count
   4) "3"
4) 1) s
   2) "dad"
   3) count
   4) "2"
5) 1) s
   2) "robber"
   3) count
   4) "1"

请注意以下事项:聚合的目的是聚合结果集。有一些配置变量限制结果集的大小。一旦达到此限制，搜索查询将不会返回所有结果，聚合阶段也不会处理所有结果。可以配置其中一些变量来增加这些限制(例如 MAXEXPANSIONS)，但如果您打算处理数百万个结果，您最终将达到这些限制(而且您的查询将需要很长时间才能完成)。正确的方法是使用比“*”更具体的查询来减少结果集，然后使用聚合对较小的结果集进行额外计算。