SQL 查询以查找具有最匹配关键字的行

Question

我真的不擅长 SQL，我想知道我可以运行什么 SQL 来解决我怀疑是 NP-Complete 问题的问题，但我可以接受需要很长时间运行的查询在大型数据集上，因为这将作为后台任务完成。首选标准 sql 语句，但如果需要存储过程，那就这样吧。 SQL 需要在 Postgres 9.3 上运行。

问题:给定一组包含一组关键词的文章，为每篇文章找到包含最多匹配关键词的前 n 篇文章。

文章表的精简版如下所示:

CREATE TABLE article (
  id character varying(36) NOT NULL,  -- primary key of article
  keywords character varying,         -- comma separated set of keywords

  CONSTRAINT pk_article PRIMARY KEY (id)
);

-- Test Data
INSERT INTO article(id, keywords) VALUES(0, 'red,green,blue');
INSERT INTO article(id, keywords) VALUES(1, 'red,green,yellow');
INSERT INTO article(id, keywords) VALUES(2, 'purple,orange,blue');
INSERT INTO article(id, keywords) VALUES(3, 'lime,violet,ruby,teal');
INSERT INTO article(id, keywords) VALUES(4, 'red,green,blue,yellow');
INSERT INTO article(id, keywords) VALUES(5, 'yellow,brown,black');
INSERT INTO article(id, keywords) VALUES(6, 'black,white,blue');

这将导致 SELECT * FROM article; 查询:

Table: article
------------------------
id  keywords            
------------------------
0   red,green,blue      
1   red,green,yellow    
2   purple,orange,blue  
3   lime,violet,ruby,teal
4   red,green,blue,yellow
5   yellow,brown,black
6   black,white,blue

假设我想为每篇文章找到包含最多匹配关键字的前 3 篇文章，那么输出应该是这样的:

------------------------
id  related
------------------------
0   4,1,6
1   4,0,5
2   0,4,6
3   null
4   0,1,6
5   1,6
6   5,0,4

Answer 1

赞@a_horse commented :使用规范化设计会更简单(除了使其他任务更简单/更清晰)，但仍然不是微不足道的。

此外，数据类型为 character varying(36) 的 PK 列非常可疑(且效率低下)，很可能是 integer type。或至少一个 uuid相反。

根据您的原样设计，这是一种可能的解决方案:

WITH cte AS (
   SELECT id, string_to_array(a.keywords, ',') AS keys
   FROM   article a
   )
SELECT id, string_agg(b_id, ',') AS best_matches
FROM  (
   SELECT a.id, b.id AS b_id
        , row_number() OVER (PARTITION BY a.id ORDER BY ct.ct DESC, b.id) AS rn
   FROM   cte a
   LEFT   JOIN cte b ON a.id <> b.id AND a.keys && b.keys
   LEFT   JOIN LATERAL (
      SELECT count(*) AS ct
      FROM  (
         SELECT * FROM unnest(a.keys)
         INTERSECT ALL
         SELECT * FROM unnest(b.keys)
         ) i
      ) ct ON TRUE
   ORDER  BY a.id, ct.ct DESC, b.id  -- b.id as tiebreaker
   ) sub
WHERE  rn < 4
GROUP  BY 1;

sqlfiddle (使用整数 id 代替)。

CTE cte 将字符串转换为数组。你甚至可以有一个像这样的功能性 GIN 索引......

如果前 3 顺位有多个行并列，您需要定义一个决胜局。在我的示例中，具有较小 id 的行排在第一位。

最近这个相关回答的详细解释:

• Query and order by number of matches in JSON array

比较是在 JSON 数组和 SQL 数组之间进行的，但它基本上是同一个问题，归结为相同的解决方案。还比较了几个类似的替代方案。

为了加快速度，您至少应该在数组列上有一个 GIN 索引(而不是逗号分隔的字符串)，并且查询不需要 CTE 步骤。完全规范化的设计还有其他优势，但不一定比具有 GIN 索引的数组更快。