nlp - 开胃翻译器。有没有办法得到原来的短语

Question

在 apertium 翻译器中有没有办法获取翻译的原始短语？

即得到类似的东西:

phrase: {
  original: { Hola, buenos días},
  translated: {Hello, good morning}
}

我需要它来建立一种改进翻译的机制。

Answer 1

如果您通过命令行界面发送语料库，例如

xzcat corpus.sme.xz | sed 's/$/ ./' | apertium -f html-noent sme-nob > translated.nob.mt

那么你可以简单地尝试

xzcat corpus.sme.xz | paste - translated.nob.mt

然后获取输出旁边的输入。这是假设您想在换行符上拆分内容。 sed 用于确保单词不会跨换行移动(规则往往不会跨句子边界移动)。

这会很快，但是有点hacky并且有很多边缘情况。

<小时/>

如果您想要更多控制，一种方法是安装 JSON API本地并一次发送一个请求。

如果您有最新的 Debian/Ubuntu(或正在使用 apertium repos 之一)，您可以通过以下方式获取 API

sudo apt install apertium-apy
sudo systemctl start apertium-apy   # start it right now
sudo systemctl enable apertium-apy  # let it start on next boot

然后你可以这样翻译:

$ echo 'Jeg liker ikke ansjos' | curl --data-urlencode 'q@-' 'localhost:2737/translate?langpair=nob|nno'
{"responseDetails": null, "responseData": {"translatedText": "Eg likar ikkje ansjos"}, "responseStatus": 200}

(或者来自带有标准 ajax 请求的 Javascript，一些文档位于 http://wiki.apertium.org/wiki/Apertium-apy/Debian 和 http://wiki.apertium.org/wiki/Apertium-apy#Usage )

请注意，默认情况下 apertium-apy 服务于/usr/share/apertium/modes 中的对；如果您手动启动它(而不是通过 systemctl)，您可以将其指向不同的路径。

<小时/>

如果您想生成示例中的 JSON 格式，最简单的方法是使用 jq (sudo apt install jq)，例如

$ orig="Jeg liker ikke ansjos"
$ echo "$orig" \
  | curl -Ss --data-urlencode 'q@-' 'localhost:2737/translate?langpair=nob|nno' \
  | jq "{phrase: {original:\"$orig\", translated:.responseData.translatedText }}"
{
  "phrase": {
    "original": "Jeg liker ikke ansjos",
    "translated": "Eg likar ikkje ansjos"
  }
}

或在语料库上:

xzcat corpus.nob.xz | while read -r orig; do 
  echo "$orig" \
    | curl -Ss --data-urlencode 'q@-' 'localhost:2737/translate?langpair=nob|nno' \
    | jq "{phrase: {original:\"$orig\", translated:.responseData.translatedText}}";
done

(500 行的简单测试表明这需要 23.7 秒的挂钟时间，而 paste 版本需要 5.5 秒。)