python - 有效的编辑距离

Question

我有一个很大的语料库，我试图在语料库中找到最相似的 n-gram。对于这种情况，我正在使用 get_close matches .

问题是这个过程需要很多时间。一位 friend 建议我将 n-gram 转换为 MD5，然后计算距离。我怀疑它会起作用。散列对散列是不变的吗？距离计算是否在字符串的 MD5 上有效运行？

Post scriptum，计算大型语料库中字符串(如 n-gram)之间的距离的最有效方法是什么？

Answer 1

一种有前途的方法是度量嵌入。本文:Convolutional Embedding for Edit Distance研究人员表示，该算法可以将搜索速度提高几个数量级。完成训练指标嵌入后，您可以应用 approximate nearest neighbor算法找到距离最短的k个文本。
哈。