python - Python 中基于标记的编辑距离？

Question

我熟悉 python 的 nltk.metrics.distance 模块，它通常用于计算两个字符串的编辑距离。

我对一个函数感兴趣，它计算这样的距离，但不是像通常那样按字符而是按标记。我的意思是您只能替换/添加/删除整个标记(而不是字符)。

常规编辑距离示例和我想要的标记化版本:

> char_dist("aa bbbb cc",
            "aa b cc")
3                              # add 'b' character three-times

> token_dist("aa bbbb cc",
             "aa b cc")
1                              # replace 'bbbb' token with 'b' token

是否已经有一些函数可以在 python 中计算 token_dist？我宁愿使用已经实现和测试过的东西，也不愿编写自己的代码。感谢提示。

Answer 1

NLTK 的 edit_distance 似乎对列表和字符串同样有效:

nltk.edit_distance("aa bbbb cc", "aa b cc")
> 3
nltk.edit_distance("aa bbbb cc".split(), "aa b cc".split())
> 1