gpt4 book ai didi

python - 对整个文档进行语义搜索的正确方法?

转载 作者:行者123 更新时间:2023-12-02 05:47:56 24 4
gpt4 key购买 nike

<分区>

我有一堆文本文档,我想对它们使用语义搜索。我不确定的一件事是嵌入的粒度。

我能想到的直接方法是使用“\n”字符分隔文档,这意味着我将使用整个段落来获取嵌入向量,然后将向量存储到类似数据存储的 FAISS,然后查询

但是当我使用 OpenAI 时,它看起来像是使用整个文档来为文档生成一个向量。

所以我想知道哪个更好?当然,在查询之后我想向用户显示源代码,按照 OpenAI 的方式似乎不可能?

谢谢。

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com