php - MySQL字符串比较

Question

几个月前我问过类似的问题。位于此处:MySQL Query based on string

我遇到的问题是，这只适用于一个特定的顺序，而且在某些情况下效果太好。

这是此查询过滤掉的数据片段(有意重复，实际数据):

- BELLMORE
- ATLANTIC BCH
- ATLANTIC BEACH
- E HILLS
- EAST HILLS
- EAST ROCKAWAY
- FAR ROCKAWAY
- FLORAL PARK
- FLORAL PARK
- HIGHLAND HEIGHTS
- N HIGHLAND HGTS
- NORTH HIGHLAND HEIGHTS

对我的上一个问题 (MySQL Query based on string) 有帮助的一个查询在一个实例中运行良好，在另一个实例中失败。这是查询:

select names from tablename group by substring_index(names," ",1)

哪个返回:

- BELLMORE
- ATLANTIC BEACH
- EAST HILLS
- FAR ROCKAWAY
- FLORAL PARK
- HIGHLAND HEIGHTS
- N HIGHLAND HGTS
- NORTH HIGHLAND HEIGHTS

问题在于，如您所见，它删除了一个不应该包含的城市，因为它仅使用第一个单词对其进行分组。它删除的是:

- EAST ROCKAWAY

它是 GROUP'ed BY EAST。

随着我继续写这篇文章，我觉得这几乎是不可能的，因为静态城市名称与可变部分的位置总是在变化。除非你能比较一定数量的字符。到目前为止，这还不是完美无缺的。如果有人认为他们可能有一些洞察力或已经完成了这样的事情，我将不胜感激反馈和指导。最终结果将是:

- BELLMORE
- ATLANTIC BEACH
- EAST HILLS
- EAST ROCKAWAY
- FAR ROCKAWAY
- FLORAL PARK
- HIGHLAND HEIGHTS

Answer 1

我的建议是一个昂贵的查询，但希望您可以使用这种类型的操作来偶尔“清理”您的数据，这样您就不会在每次查询此数据时都需要它。

您可能会考虑查看 Levenshtein distance formula...这是一个字符串度量，用于测量两个序列之间的差异量。

为了避免需要为您的表格的笛卡尔积计算距离，您可以首先缩小要比较的城市和地址的范围，以便进行更快的健全性检查...例如它们以相同的字母开头，并且具有相似的长度。

最初，您可以只返回具有非常小的Levenshtein 距离的记录...然后您可以选择返回的匹配项的一种变体以应用于其他记录以规范化您的数据。

然后您可以逐渐增加距离，直到开始出现太多误报。

Here's an implementation directly in MySql :

CREATE FUNCTION levenshtein( s1 VARCHAR(255), s2 VARCHAR(255) ) 
  RETURNS INT 
  DETERMINISTIC 
  BEGIN 
    DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT; 
    DECLARE s1_char CHAR; 
    -- max strlen=255 
    DECLARE cv0, cv1 VARBINARY(256); 
    SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0; 
    IF s1 = s2 THEN 
      RETURN 0; 
    ELSEIF s1_len = 0 THEN 
      RETURN s2_len; 
    ELSEIF s2_len = 0 THEN 
      RETURN s1_len; 
    ELSE 
      WHILE j <= s2_len DO 
        SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1; 
      END WHILE; 
      WHILE i <= s1_len DO 
        SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1; 
        WHILE j <= s2_len DO 
          SET c = c + 1; 
          IF s1_char = SUBSTRING(s2, j, 1) THEN  
            SET cost = 0; ELSE SET cost = 1; 
          END IF; 
          SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost; 
          IF c > c_temp THEN SET c = c_temp; END IF; 
            SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1; 
            IF c > c_temp THEN  
              SET c = c_temp;  
            END IF; 
            SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1; 
        END WHILE; 
        SET cv1 = cv0, i = i + 1; 
      END WHILE; 
    END IF; 
    RETURN c; 
  END;