gpt4 book ai didi

elasticsearch - anchor token 替换模式到 token 末尾

转载 作者:行者123 更新时间:2023-12-02 23:06:50 30 4
gpt4 key购买 nike

根据docs这应该是不可能的

Regular expressions cannot be anchored to the beginning or end of a token


尽管如此,它似乎对我有用
GET /_analyze
{
"tokenizer": "whitespace",
"filter": [
{
"type": "pattern_replace",
"pattern": "(dog)$",
"replacement": "hot$1"
}
],
"text": "dog dogs"
}
退货
{
"tokens" : [
{
"token" : "hotdog",
"start_offset" : 0,
"end_offset" : 3,
"type" : "word",
"position" : 0
},
{
"token" : "dogs",
"start_offset" : 4,
"end_offset" : 8,
"type" : "word",
"position" : 1
}
]
}
请注意,该模式 anchor 定在 token 的末尾,并且不会替换“dog s ”,因为它不是以“dog”结尾。
所以我的问题是:我丢失了某些东西还是可以安全使用(文档只是错误的)?

最佳答案

看来这是错误的文档,为此,Elasticsearch bug查看了 flex 代码,并且没有对 token 的开头或结尾进行特殊处理。
请引用用于此 token 过滤器的this ES code,它调用Lucene token 过滤器,并且在Elastic和Lucene代码级别均没有特殊处理。

关于elasticsearch - anchor token 替换模式到 token 末尾,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64538891/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com