gpt4 book ai didi

Solr Tokenizer 注入(inject)

转载 作者:行者123 更新时间:2023-12-04 21:49:41 25 4
gpt4 key购买 nike

例如,我有一个可能包含以下字符串的文本字段:

“d7199^^==^^81^^==^^一两句!!”

我想标记这些数据,但每个标记都包含字符串的第一部分。因此,对于上面的示例,我希望 token 看起来像这样:

"d7199^^==^^81^^==^^a"

"d7199^^==^^81^^==^^句子"

“d7199^^==^^81^^==^^或”

“d7199^^==^^81^^==^^二”

我该怎么做呢?

最佳答案

您可以实现自己的自定义Tokenizer并将其添加到 Solr 类路径。然后在你的 Solr schema.xml 和 solrconfig.xml 中使用它

关于Solr Tokenizer 注入(inject),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7195668/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com