arrays - Golang : process took too long. 实现拼写检查

Question

http://play.golang.org/p/H5E0ExL85d

我已经用 Go 实现了一些 Peter Norvig 的拼写检查算法。

奇怪的是，前三个 调用工作正常，为我提供了所需的输出。

但从第二个开始，它说“处理时间太长。”

谁能看看我的代码并告诉我哪里出了问题？

这是可能出错的片段。

在英文版中使用相同的代码，一切都完美无缺。

UNICODE 格式和边界已根据语言发生变化，因为英语每个字母包含 1 个字节，而亚洲语言在这种情况下每个字符包含 3 个字节。

这是在尝试运行与英语运行完美的算法相同的算法。但这不起作用。

total_set := []string{}
for _, elem := range splits {

    if len(elem.str2) > 3 {
        //deletion
        total_set = append(total_set, elem.str1+elem.str2[3:])

        //replace
        for i:=0; i<len(koreanletter)/3; i++ {
            total_set = append(total_set, elem.str1+string(koreanletter[3*i:3*(i+1)])+elem.str2[3:])
        }

        //transpose
        if len(elem.str2) > 9 {
            total_set = append(total_set, elem.str1+string(elem.str2[3:6])+string(elem.str2[:3])+elem.str2[9:])
        }

    } else {
        //deletion
        total_set = append(total_set, elem.str1)
    }

    //insertion
    for _, c := range koreanletter {
        total_set = append(total_set, elem.str1+string(c)+elem.str2)
    }
    return RemoveDuplicateStringArrayForKorean(total_set)
}

---

英文的在下面。这是完美的工作。

//Edits1 is to measure the distance between strings.
func (model *Model) Edits1(word string) []string {
  const alphabet = "abcdefghijklmnopqrstuvwxyz"

  splits := []Pair{}
  for i := 0; i <= len(word); i++ {
    splits = append(splits, Pair{word[:i], word[i:]})
  }

  total_set := []string{}
  for _, elem := range splits {

    if len(elem.str2) > 0 {
      //deletion
      total_set = append(total_set, elem.str1+elem.str2[1:])

      //replace
      for _, c := range alphabet {
        total_set = append(total_set, elem.str1+string(c)+elem.str2[1:])
      }

      //transpose
      if len(elem.str2) > 1 {
        total_set = append(total_set, elem.str1+string(elem.str2[1])+string(elem.str2[0])+elem.str2[2:])
      }

    } else {
      //deletion
      total_set = append(total_set, elem.str1)
    }

    //insertion
    for _, c := range alphabet {
      total_set = append(total_set, elem.str1+string(c)+elem.str2)
    }
  }
  return RemoveDuplicateStringArrayLowerCase(total_set)
}

添加:有序参数，现在我有三样东西在工作。

韩语字母中没有一个字符丢失。

无论如何我可以更具体地看到错误？我就是想不通。

Answer 1

研究您的代码，似乎是您的 KoreanKnownEdits2 花费了太长时间。在你的第四个例子(失败的那个)中， model.KoreanEdits1(input_word) 的长度是 28197 而第一个 model.KoreanEdits1(elem1) 的长度 是 23499，这使得大约有 6.62 亿个案例需要尝试。程序似乎在前 147,000 次后失败，因为它花费的时间太长 ( playground )。

任何不需要调用 KoreanKnownEdits2 的例子似乎都有效，所以我怀疑你应该重写这个函数以避免穷举搜索，或者至少将它限制在一个更合理的大小，如果你想在 Playground 的时间限制下使用它。我还没有足够详细地研究你的代码，无法 100% 确定这一点，但我怀疑西方字母表的 26 个字母使其易于管理英文版本，而扩展的韩文字母表使你的输入量太大而无法使用在 playground 的时间限制内处理，无论每个字符编码的字节数如何。