python - 如何使用 Whoosh 获取文档内容的词袋表示？

Question

我有一个如下所示的索引架构:

schema = Schema(
    title=TEXT(stored=True),
    content=TEXT,
    id=ID,
    topicID=NUMERIC,
)

我首先使用searcher.documents(topicID=t)获取主题t的文档。这会返回命中。我想获取点击 content 字段的词袋表示。例如 [(u'This',1),(u'is',1),(u'a',1),(u'document',1)] 当 content=u'这是一个文档'。

如果有一种方法可以在 Whoosh 中更普遍地获得词袋表示(或 TF-IDF) - 也许是文档而不是点击 - 这也是可以接受的。

编辑:我想要一种解决方案，可以在索引时预处理词袋/TF-IDF，然后获取表示是单行函数或变量。每次我想要表示时，而不是实时进行处理。

Answer 1

whoosh.reading.IndexReader中有为此实现的功能:

• whoosh.reading.IndexReader.frequency(fieldname, text)

  Returns the total number of instances of the given term in the collection.

• whoosh.reading.IndexReader.doc_frequency(fieldname, text)

  Returns how many documents the given term appears in.

要遍历所有索引术语的列表，请使用:

• whoosh.reading.IndexReader.all_terms()

  Yields (fieldname, text) tuples for every term in the index.