gpt4 book ai didi

java - 带有 LookAhead 的 Lucene 分词器

转载 作者:塔克拉玛干 更新时间:2023-11-02 20:15:23 26 4
gpt4 key购买 nike

谁能指出我使用 LookAhead 实现 Lucene Tokenizer 的正确方向?

我正在使用雪球词干提取器,我希望能够获取城市名称的短语并防止它们被词干提取,这样“Los Angeles”将被设置为单个标记,而不是“的两个标记”洛杉矶”和“洛杉矶”。

我还需要将不匹配任何城市名称的标记保留为单个单词。

有什么想法吗?

TIA

最佳答案

Here是我写的东西的要点,它可以满足您的需求。

关于java - 带有 LookAhead 的 Lucene 分词器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7577854/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com