sql - 如何确定每个来源中的记录是否代表同一个人

Question

我有几个包含个人数据的表格来源，如下所示:

SOURCE 1
ID, FIRST_NAME, LAST_NAME, FIELD1, ...
1, jhon, gates ...

SOURCE 2
ID, FIRST_NAME, LAST_NAME, ANOTHER_FIELD1, ...
1, jon, gate ...

SOURCE 3
ID, FIRST_NAME, LAST_NAME, ANOTHER_FIELD1, ...
2, jhon, ballmer ...

因此，假设来自来源 1 和 2 的 ID 为 1 的记录是同一个人，我的问题是如何确定每个来源中的记录是否代表同一个人。此外，确保并非所有记录都存在于所有来源中。所有的名字，主要是用西类牙语写的。

在这种情况下，需要放宽精确匹配，因为我们假设数据源未根据国家官方身份验证局进行严格检查。我们还需要假设打字错误很常见，因为收集数据的过程的性质。更何况，每个源的记录量都在两三百万条左右……

我们团队的想法是这样的:首先，在 ID NUMBER 和 NAMES 等选定字段中强制进行精确匹配，以了解问题的难度。二是放宽匹配条件，统计多匹配多少条记录，问题就出在这里:如何放宽匹配条件既不产生太大噪音又不限制太多？

什么工具可以更有效地处理这个问题？例如，您是否知道某些数据库引擎中的一些特定扩展来支持这种匹配？你知道像 soundex 这样的聪明算法吗？处理这种近似匹配，但对于西类牙语文本？

如有任何帮助，我们将不胜感激!

谢谢。

Answer 1

问题的症结在于计算每对条目之间的一个或多个距离度量，然后当其中一个距离小于某个可接受的阈值时将它们视为相同。关键是设置分析，然后改变可接受的距离，直到达到您认为是假阳性和假阴性之间的最佳权衡。

一种距离测量可以是语音的。您可能会考虑的另一个是 Levenshtein or edit distance在整体之间，这将尝试测量拼写错误。

如果您对应该有多少人有一个合理的想法，那么您的目标就是找到最佳点，让您获得合适的人数。让你的匹配太模糊，你就会太少。限制太多，你就会有太多。

如果您大致知道一个人应该有多少条目，那么您可以使用它作为衡量您何时接近的指标。或者，您可以将记录数除以每个人的平均记录数，然后得到您所针对的粗略人数。

如果您没有任何数字可供使用，那么您只能从分析中挑选出多组记录，然后手动检查它们是否看起来像同一个人。所以这是猜测和检查。

希望对您有所帮助。