image - 深度学习——同时使用图像和它们的描述

Question

我要制作一个可以对图像进行分类的分类器。我知道我应该为此使用卷积神经网络。问题是我对每张图片都有描述。有什么方法可以使用此描述来改进分类器吗？

Answer 1

最简单的方法是同时使用图像特征 (CNN) 和文本特征(以 LSTM 语言模型、词袋或现成的编码器(如跳过思维向量)的形式)并训练网络以通常的方式对图像类别进行预测。这两个特征可以通过连接、逐元素乘法、逐元素求和或外积来组合。查看视觉问答 (VQA) 的最新进展，您所描述的内容听起来像是 VQA 可以完成的工作的一部分。