jupyter-notebook - 我如何使用 BERT 进行机器翻译？

Question

我遇到了一个大问题。对于我的学士论文，我必须用 BERT 制作一个机器翻译模型。但我现在没有任何进展。你知道可以在这里帮助我的文档或其他东西吗？我已经阅读了该方向的一些论文，但也许有文档或教程可以帮助我。

对于我的学士论文，我必须将文本摘要翻译成标题。我希望有人能帮助我。

Answer 1

BERT 不是机器翻译模型，BERT 旨在提供对各种 NLP 任务有用的上下文句子表示。尽管存在将 BERT 整合到机器翻译中的方法 (https://openreview.net/forum?id=Hyl7ygStwB)，但这不是一个简单的问题，而且它是否真的值得怀疑。

从你的问题来看，你好像不是真正的机器翻译，而是自动摘要。与机器翻译类似，它可以使用序列到序列模型来处理，但我们在 NLP 中不称其为翻译。对于sequence-to-sequence建模，有不同的预训练模型，比如BART或 MASS .这些应该比 BERT 有用得多。

---

2022 年 9 月更新:有多语言类 BERT 模型，最著名的是 multilingual BERT和 XLM-RoBERTa .仔细微调后，它们可以用作机器翻译的通用编码器，并实现所谓的零样 native 器翻译。该模型经过训练，可以将多种源语言翻译成英语，但最终，它可以从多语言类 BERT 模型涵盖的所有语言进行翻译。该方法称为 SixT .