Python Whoosh - 合并结果

Question

感谢您花时间提前回答这个问题。我对 Python (3.6) 和 Whoosh (2.7.4) 都比较陌生，所以如果我遗漏了一些明显的东西，请原谅我。

Whoosh 2.7.4 — 合并结果错误

我正在尝试按照 How to Search > Combining Results 上的 Whoosh 文档中的说明进行操作.但是，我真的迷失在这一部分:

# Get the terms searched for
termset = set()
userquery.existing_terms(termset)

当我运行我的代码时，它产生了这个错误:

'set' object has no attribute 'schema'

出了什么问题？

我还查看了有关 Whoosh API 的文档对此，但我只是对 ixreader 的作用感到更加困惑。 (或者是 index.Index.reader()？)耸耸肩

看一下我的代码

架构

schema = Schema(uid=ID(unique=True, stored=True),  # unique ID
                indice=ID(stored=True, sortable=True),
                title=TEXT,
                author=TEXT,
                body=TEXT(analyzer=LanguageAnalyzer(lang)),
                hashtag=KEYWORD(lowercase=True, commas=True,
                                scorable=True)
                )

相关的字段名是“hashtag”和“body”。主题标签是用户为每个文档选择的关键字，正文是文档中的文本。非常不言自明，不是吗？

搜索功能

其中大部分直接来自 Whoosh Doc。注意，dic 只是一个包含查询字符串的字典。另外，应该注意的是，错误发生在 userquery.existing_terms(termset) 期间，所以如果其余部分都是废话，我很抱歉，我还没有走那么远。

try:
            ix = index.open_dir(self.w_path, indexname=lang)
            qp = QueryParser('body', schema=ix.schema)
            userquery = qp.parse(dic['string'])
            termset = set()
            userquery.existing_terms(termset)
            bbq = Or([Term('hashtag', text) for fieldname, text
                      in termset if fieldname == 'body'])
            s = ix.searcher()
            results = s.search(bbq, limit=5)
            allresults = s.search(userquery, limit=10)
            results.upgrade_and_extend(allresults)
            for r in results:
                print(r)
except Exception as e:
            print('failed to search')
            print(e)
            return False
finally:
            s.close()

我的代码的目标

我从不同的文件(pdf、epub 等)中获取页面，并将每个页面的文本作为单独的“文档”存储在 whoosh 索引(即字段“body”)中。每个“文档”也标有唯一 ID (uid)，允许我获取搜索结果并确定它来自哪个 pdf 文件以及哪些页面包含搜索命中(例如“1.pdf”第 2 页的文档"有 uid 1.2)。换句话说，我想为用户提供包含搜索词的页码列表，也许还有点击次数最多的页面。对于每个文件，唯一具有主题标签(或关键字)的文档是 uid 以零结尾的文档(即第零页，例如“1.pdf”的 uid 1.0)。第 0 页可能也可能没有“正文”(例如发布日期、作者姓名、摘要等)。我这样做是为了防止由于在每个“文档”(即页面)上多次重复关键字，页面较多的文档的排名显着高于页面少得多的文档。

最终，我只希望代码将带有主题标签的文档提升到仅在正文中搜索命中的文档。我考虑过只提升主题标签字段，但我不确定它的机制是什么，文档也建议不要这样做。

建议和更正将不胜感激。再次感谢!

Answer 1

您链接中的代码对我来说不正确。它也给了我同样的错误。尝试按如下方式重新排列您的代码:

try:
            ix = index.open_dir(self.w_path, indexname=lang)
            qp = QueryParser('body', schema=ix.schema)
            userquery = qp.parse(dic['string'])
            s = ix.searcher()
            allresults = s.search(userquery, limit=10)
            termset = userquery.existing_terms(s.reader())
            bbq = Or([Term('hashtag', text) for fieldname, text in termset if fieldname == 'body'])
            results = s.search(bbq, limit=5)

            results.upgrade_and_extend(allresults)
            for r in results:
                print(r)
except Exception as e:
            print('failed to search')
            print(e)
            return False
finally:
            s.close()

existing_terms需要 reader所以我创建了 searcher首先给出它的reader

至于提升一个领域，机制是quite simple :

schema = Schema(title=TEXT(field_boost=2.0), body=TEXT) .

添加足够高的提升以将主题标签文档置于顶部，并确保在正文和主题标签字段上应用单个查询。

在提升还是组合之间做出决定取决于您是否希望所有匹配的主题标签文档始终绝对位于顶部，然后显示任何其他匹配项。如果是这样，结合。相反，如果您更喜欢在相关性方面取得平衡，尽管对主题标签有更强的偏见，请提高。