gpt4 book ai didi

SQLite:一个单词中的FTS匹配可以忽略哪个字符

转载 作者:行者123 更新时间:2023-12-03 19:52:32 25 4
gpt4 key购买 nike

我需要找到任何特殊字符。如果我把它放在一个单词的中间,SQLite FTS 匹配可以忽略它,就好像它不存在一样,例如:

Text Body: book's

如果我的匹配字符串是“books”,我需要得到“book's”的结果。使用搬运工或简单分词器没问题。

我尝试了很多字符,例如:book!s, book?s, book|s, book,s, book:s…,但是当通过匹配搜索“books”时,没有返回这些结果。

我不明白,为什么?

我正在使用:Contentless FTS4 Tables,和External Content FTS4 Tables,我的正文中每个单词都有很多字符,应该改为在搜索时忽略它..

我无法更改匹配查询,因为我不知道单词中的特殊字符在哪里。此外,我需要保留原始字长等于 FTS 索引字的长度以使用匹配信息或代码段();因此,我无法从文本正文中删除这些字符。

最佳答案

默认分词器不会忽略标点符号,而是将它们视为单词分隔符。

因此文本正文或匹配字符串 book's 将以两个词结束,books。这些永远不会匹配像 books 这样的单一作品。

要忽略像' 这样的字符,你必须install your own custom tokenizer .

关于SQLite:一个单词中的FTS匹配可以忽略哪个字符,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15458220/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com