mysql - SQL - 查找具有未知但略有相似值的行？

Question

我正在尝试编写一个查询，该查询将返回有关“名称”列的类似行。我的问题是，在我的 SQL 数据库中，有以下示例:

NAME            DOB       
Doe, John       1990-01-01
Doe, John A     1990-01-01

我想要一个返回“名称”列的相似但不精确重复项的查询。由于我不知 Prop 体是哪些患者发生这种情况，所以我不能只查询“Doe, John%”。

我使用 MySQL Workbench 编写了此查询:

    SELECT
        Name, DOB, id, COUNT(*)
    FROM
        Table
    GROUP BY
        DOB
    HAVING 
        COUNT(*) > 1 ;

但是，这会导致名称根本不相似的大量结果。有什么方法可以缩小结果范围以仅包含相似(但不完全重复!)的名称？这似乎不可能，因为我不知道哪些行具有相似的名称，但我想我应该问一些专家。

需要明确的是，这不是发布的其他问题的重复，因为我不知道两个(或更多)字符串的内容，而该发布者似乎知道一些内容。理想情况下，我希望将查询结果限制为“名称”列中前 3 或 4 个字符相同的行。但同样，我不知道有问题的字符串的内容。希望这有助于澄清我的问题。

我打算对这些结果执行的操作是手动审核每个重复行中的其余信息(每行超过 90 个其他列可能包含也可能不包含必须准确的抽象信息)，然后删除不需要的行。我只是想获得最简洁、最准确的列表来浏览，这样我就不必滚动浏览超过 10,000 行来查找相似的名称。

郑重声明，我确实知道这两行在中间名首字母之前将具有完全相同的名称。过去，有人使用一种工具将姓名从一个数据库导出到我的 SQL 数据库，其中包括中间名首字母。从那时起，我导入了另一个不包含中间名缩写的列表。我正在寻找具有该子集中间名缩写的那些。

Answer 1

这是一个非常大的主题，工作量取决于您认为“相似”的内容以及数据的结构。例如，您是否也想匹配 Doe、Johnathan？

存在多种算法，但如果您有大量数据集，则仅匹配名称时它们可能会占用大量资源。这就是为什么经常使用其他属性(例如出生日期、电子邮件或地址)来首先缩小可能的匹配范围，然后比较姓名通常效果更好。

在比较时，您可以使用多种算法，例如 Jaro-Winkler、Levenshtein Distance、ngrams。但您还应该通过查看上面建议的其他信息来考虑匹配的“置信度”。

匹配地址的问题是你有同样的模糊逻辑问题。第一对第一。因此，如果走这条路线，我实际上会使用其他服务转换为 GPS 坐标，然后接受 X 距离内的记录。

与此相关的古老问题是匹配丈夫和妻子。我个人认识一对已婚夫妇，他们都叫迈克尔·哈特菲尔德。所以你可以尝试引入名字的性别，但 Terry、Tracy 等也可以是......

最重要的是，如果您有必要，并且您确实研究了其他解决方案，例如 Melissa 数据的服务、SQL Server 数据质量服务作为工具，那么才会采用名称相似的路线......

更新关于中间名首字母的每条评论。如果您始终知道名称除了中间名首字母之外都是相同的，那么这个任务可能相当简单，不需要任何复杂的算法。您可以根据一个字符串 + '%' 与另一个字符串相似进行匹配，然后进行测试以确保长度只有 2 个不同，并且其中比较小的字符串多 1 个空格。或者您可以尝试清理/删除中间的首字母，如果名字中有空格，这可能会有点复杂，Doe，Ann Marie。但是您可以通过测试倒数第二个字符是否是空格来做到这一点。