gpt4 book ai didi

postgresql - 在数据库中搜索(相似)字符串的可扩展方式

转载 作者:行者123 更新时间:2023-11-29 11:56:30 29 4
gpt4 key购买 nike

让我描述一下我的问题。有一个输入字符串和一个包含数千个字符串的表。我正在寻找搜索与输入字符串最相似* 字符串的最佳方法。搜索应该返回一个包含 ~10 个建议字符串的列表,按相似度排序。字符串在数据库中的另一列中也有与之关联的数值权重(流行度),因此如果可能的话,权重较高的字符串出现在结果中的机会应该更大。

实现此目标的最佳库是什么?我想我正在寻找类似于 Elasticsearch 的东西。我对这些类型的库没有太多经验,所以我需要一些容易包含在我的项目中的东西,最好是开源的。我正在使用 Python(Flask 和 SQLAlchemy)和 Postgresql,但也可以使用例如Node.js,如果需要的话。

*我还想澄清我在寻找什么样的相似性。理想情况下,这将是语义相似性,但词汇相似性也很好。我会对任何工作正常、易于实现并且尽可能具有可扩展性和高性能的东西感到满意。

示例输入句子:

  • 我不喜欢袋鼠。

来自数据库的示例建议:

  • 袋鼠不是我的最爱。
  • 袋鼠是邪恶的。
  • 我曾经养过一只袋鼠。再也不会了。

这些建议应该首先出现,因为“cangaroo”在我的数据库中不是一个常用词,所以任何包含“cangaroo”一词的字符串应该很有可能出现在结果中。检测“不喜欢”可能更难,所以这部分对我来说完全是可选的。

附言PostgreSQL 的全文搜索可以做这样的事情吗?

谢谢。

最佳答案

PostgreSQL 全文搜索无法满足您的需求。然而,PostgreSQL trigram similarity可以做到。

您首先需要通过在数据库中执行(一次)来安装具有“trigram similarity”和“btree_gist”的软件包:

CREATE EXTENSION pg_trgm;
CREATE EXTENSION btree_gist;

我假设您有一张看起来像这样的 table :

CREATE TABLE sentences
(
sentence_id integer PRIMARY KEY,
sentence text
) ;

INSERT INTO sentences (sentence_id, sentence)
VALUES
(1, 'Cangaroos are not my favorite.'),
(2, 'A vegetable sentence.'),
(3, 'Cangaroos are evil.'),
(4, 'Again, some plants in my garden.'),
(5, 'I once had a cangaroo. Never again.') ;

此表需要一个“三元组索引”,以允许 PostgreSQL 数据库“按相似性索引”。这是通过执行:

CREATE INDEX ON sentences USING GIST (sentence gist_trgm_ops, sentence_id) ;

要找到你正在寻找的答案,你执行:

-- Set the minimum similarity you want to be able to search
SELECT set_limit(0.2) ;

-- And now, select the sentences 'similar' to the input one
SELECT
similarity(sentence, 'I don''t like cangaroos') AS similarity,
sentence_id,
sentence
FROM
sentences
WHERE
/* That's how you choose your sentences:
% means 'similar to', in the trigram sense */
sentence % 'I don''t like cangaroos'
ORDER BY
similarity DESC ;

得到的结果是:

similarity | sentence_id | sentence
-----------+-------------+-------------------------------------
0.3125 | 3 | Cangaroos are evil.
0.2325 | 1 | Cangaroos are not my favorite.
0.2173 | 5 | I once had a cangaroo. Never again.

希望这能给你想要的...

关于postgresql - 在数据库中搜索(相似)字符串的可扩展方式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41312594/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com