python - 在 Python 中计算 BLEU 分数

Question

有一个测试句和一个引用句。我如何编写一个 Python 脚本，以自动机器翻译评估中使用的 BLEU 度量的形式测量这两个句子之间的相似性？

Answer 1

BLEU 分数由两部分组成，修改后的精度和简洁性惩罚。详情可见paper .您可以使用 nltk.align.bleu_score NLTK 中的模块。一个代码示例如下所示:

import nltk

hypothesis = ['It', 'is', 'a', 'cat', 'at', 'room']
reference = ['It', 'is', 'a', 'cat', 'inside', 'the', 'room']
#there may be several references
BLEUscore = nltk.translate.bleu_score.sentence_bleu([reference], hypothesis)
print(BLEUscore)

请注意，默认的 BLEU 分数使用 n=4，其中包括 unigrams 到 4 克。如果你的句子小于4，你需要重新设置N值，否则会返回ZeroDivisionError: Fraction(0, 0)错误。所以，你应该像这样重置权重:

import nltk

hypothesis = ["open", "the", "file"]
reference = ["open", "file"]
#the maximum is bigram, so assign the weight into 2 half.
BLEUscore = nltk.translate.bleu_score.sentence_bleu([reference], hypothesis, weights = (0.5, 0.5))
print(BLEUscore)