hindi - 使用 MOSES 从印地语到英语的统计机器翻译

Question

我需要使用 MOSES 创建一个印地语到英语的翻译系统。我有一个平行语料库，其中包含大约 10000 个印地语句子和相应的英语翻译。我按照 Baseline system creation page 中描述的方法进行操作.但是，就在第一阶段，当我想标记我的印地语语料库并尝试执行

~/mosesdecoder/scripts/tokenizer/tokenizer.perl -l hi < ~/corpus/training/hi-en.hi> ~/corpus/hi-en.tok.hi

，tokeniser 给了我以下输出:

Tokenizer Version 1.1
Language: hi
Number of threads: 1
WARNING: No known abbreviations for language 'hi', attempting fall-back to English version...

我什至尝试使用 'hin' 但它仍然无法识别该语言。谁能告诉翻译系统的正确制作方法。

Answer 1

Moses 不支持印地语标记化，tokenizer.perl 使用 nonbreaking_prefix.* 文件(来自 https://github.com/moses-smt/mosesdecoder/blob/master/scripts/tokenizer/tokenizer.perl#L516)

Moses 提供的带有不间断前缀的语言是:

• ca: 加泰罗尼亚语
• cs:捷克语
• 德:德语
• el: 希腊语
• zh: 英语
• es: 西类牙语
• fi:芬兰语
• fr:法语
• 胡:匈牙利语
• 是:冰岛语
• 它:意大利语
• lv:拉脱维亚语
• nl:荷兰语
• 复数:波兰语
• pt: 葡萄牙语
• ro:罗马尼亚语
• ru:俄语
• sk:斯洛伐克语
• sl:斯洛文尼亚
• sv:瑞典语
• 助教:泰米尔语

来自 https://github.com/moses-smt/mosesdecoder/tree/master/scripts/share/nonbreaking_prefixes

---

然而，所有的希望都没有丢失，在使用 Moses 训练机器翻译模型之前，您肯定可以使用其他分词器对您的文本进行分词，尝试使用谷歌搜索“Hindi Tokenziers”，周围有大量这样的词。