gpt4 book ai didi

elasticsearch - elasticsearch标记成单词对

转载 作者:行者123 更新时间:2023-12-02 22:17:25 24 4
gpt4 key购买 nike

给定输入“快速的棕色狐狸跳”,我想标记化为

["quick brown", "brown fox" "fox jumped"]

但是 token 生成器似乎没有提供此功能。感觉这应该是一个共同的功能,所以我猜我错过了一些明显的东西。

我可以做ngram,它可以像
['q', 'qu', 'qui', 'quic', 'quick']

但是我想得到单词而不是字母的组合。

支持吗?

附言,我想这样做的原因是建议下一个单词-类似于Google如何建议使用下一个单词。我打算将这个标记器与词组建议器一起使用。

最佳答案

啊,事实证明我想要shingles

关于elasticsearch - elasticsearch标记成单词对,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26538122/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com