gpt4 book ai didi

elasticsearch - 用于Elasticsearch的自定义 token 过滤器

转载 作者:行者123 更新时间:2023-12-03 02:18:59 24 4
gpt4 key购买 nike

我想实现一个自定义 token 过滤器,如下所示:
如果单个单词与特定的(正则表达式)模式匹配,则接受单个单词-如果一个单词以字母结尾,而另一个单词以数字开头(或者反之亦然),则相邻单词串联在一起
这似乎映射到:
第1步-带状疱疹-相邻单词之间加一个空格
第2步-如果 token 与模式/ pat1 /匹配,则保留...如果 token 与/ pata patb /匹配,则替换空白
第3步-删除其他所有内容。
有办法实现吗?我看过https://stackoverflow.com/questions/35742426/how-to-filter-tokens-based-on-a-regex-in-elasticsearch,但不想将复杂的模式转换为具有超前功能的模式。

最佳答案

这个想法是从用户输入中排除潜在的订单号。
假定数据已标准化,因此订单号可以是常规isbn 978 <10_more_digits>或类似“ME4713P”的东西。用户可以输入“ME 4713P”或978- <10位数和破折号>
订单号可以描述为“包含字母和数字,可选破折号”或“包含字母,破折号,更多字母”或“包含数字,破折号,更多数字”
顺便说一句:很抱歉这次使用其他电子邮件...

关于elasticsearch - 用于Elasticsearch的自定义 token 过滤器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62935766/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com