gpt4 book ai didi

SQLite3、FTS3 和停用词

转载 作者:行者123 更新时间:2023-12-03 17:05:25 25 4
gpt4 key购买 nike

如何防止 SQLite3 在构建虚拟 FTS3 表期间不索引某些关键字或“停用词”?

我不想编入索引的示例包括“is”、“the”、“a”等。

最佳答案

不幸的是,没有处理停用词的内置分词器,因此您需要在 C 中实现自己的分词器并手动从列表中过滤掉停用词,将预分词/预过滤的文本插入相关的FTS 表列或使用有点复杂的方案,将文本插入 FTS 列,在标记化后取回它,过滤它,然后更新列值。

关于SQLite3、FTS3 和停用词,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6314001/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com