MySQL 针对 "fuzzy matching"重复项优化查询？

Question

我正在清理继承的脏数据库，需要“模糊匹配”名称以供人工审核。我想出了一个可行的解决方案，但速度非常慢——15k 行需要 7 分钟。我感觉我忽略了一些非常简单的解决方案。

记录示例:

1  John Smith
2  John Q Smith
3  Janway Smith 
4  Jane Chen
5  David Jones
6  Natalia La Brody
7  Natalia LaBrody
8  LaBrody
9  Dave Jones

我需要多个标准来进行此模糊匹配。我想出的两个包括:

1. 根据前三个和后五个字母的连接检查匹配项。
2. 如果有一个单词与所有最后一个单词进行检查
3. (我可能会添加更多条件)

我的代码如下所示:

UPDATE authors a
INNER JOIN (SELECT id, author_name FROM authors) b
    ON CASE WHEN a.author_name NOT REGEXP ' '
        THEN 
            a.author_name = 
            substring_index(b.author_name, ' ', -1) 
        ELSE 
            concat(LEFT(a.author_name, 3), RIGHT(a.author_name, 5)) = 
            concat(LEFT(b.author_name, 3), RIGHT(b.author_name, 5))
        END 
SET tags = concat_ws(',',tags,'Duplicate?')
WHERE a.id <> b.id

我很惊讶我可以将 CASE 放在 ON 子句中，但它有效。不过，我怎样才能以更好的性能来做到这一点呢？

Answer 1

一种方法是使用 soundex 。您不能 100% 依赖它，但它可以帮助您缩小搜索结果范围并加快查询速度

select t, soundex(t) from 
 (
 select 'John Smith' as t
 union 
 select 'John Q Smith' as t
 union 
 select 'Janway Smith'  as t
 union 
 select 'Jane Chen'  as t
 union
 select 'David Jones'  as t
 union
 select 'Natalia La Brody'  as t
 union
 select 'Natalia LaBrody'  as t
 union
 select 'LaBrody'  as t
 union 
 select 'dave jones' as t
 )tbl
group by soundex(t)

输出

'Natalia La Brody', 'N34163'
'LaBrody', 'L163'
'John Smith', 'J5253'
'Jane Chen', 'J525'
'David Jones', 'D13252'
'dave jones', 'D1252'