alignment - 嘈杂文本语料库中的句子分割和对齐

Question

我有一个平行语料库，其中包含大约 100,000 个对齐的阿拉伯语和波斯语段落。

我的语料库是一个嘈杂的语料库，它的段落相互翻译不完整(即，阿拉伯语段落的部分没有翻译成波斯语，标点符号也不匹配)。

为了分段成句，我用了标点符号，但是句数不匹配。

然后，我用Microsoft Aligner来对齐句子，结果真的是错误的。

如何对语料库中的句子进行切分对齐？

Answer 1

您在问题中使用了 Giza++ 标签:您是否考虑过使用那里的对齐工具？我知道很多人使用的另一个选项是 Moses ，这是一个功能齐全的统计 MT 包，但我相信如果这真的是您想要的，您可以单独调用对齐模型。