nlp - 多任务学习

Question

有人可以用简单直观的方式解释多任务学习吗？可能是一些真实的世界问题会很有用。大多数情况下，这些天我看到很多人正在使用它来执行自然语言处理任务。

Answer 1

假设您已经为几个不同的领域构建了情感分类器。比如电影、音乐 DVD 和电子产品。这些很容易构建高质量的分类器，因为您从亚马逊抓取了大量的训练数据。除了每个分类器之外，您还构建了一个相似性检测器，它会告诉您对于给定的文本片段，它与每个分类器训练的数据集有多相似。

现在，您想要从未知领域或没有如此好的数据集进行训练的领域中找到一些文本的情感。好吧，我们如何从我们已有的三个高质量分类器中获取分类的相似性加权组合。如果我们试图对洗碗机评论进行分类(不幸的是，没有庞大的洗碗机评论语料库)，它可能与电子产品最相似，因此电子产品分类器将被赋予最大的权重。另一方面，如果我们尝试对电视节目的评论进行分类，电影分类器可能会做得最好。