machine-learning - 在深度学习方法中结合临床和图像数据的最佳方法是什么？

Question

我有患者的 CT 图像，并将 CNN 应用于这些图像来预测疾病。我想通过 CNN 方法将我的临床数据与图像数据结合起来，这可能吗？我的临床数据有年龄、性别、日期、吸烟者等信息，所有这些都是数字，比如 1 代表吸烟者，0 不吸烟。

Answer 1

例如，看一下 this paper他们将 CNN 的特征与文本数据结合起来。在那篇论文中，CNN 已经经过预训练(即 CNN 本质上是一个特征器)，但您显然可以一次性学习所有内容。这个想法永远是

• 通过卷积/子采样层运行输入中的图像
• 在最终的完全连接(决策)层之前，连接可用的其他功能
• 将所有内容(预处理的图像和其他特征)输入决策层。

所以答案是“是的，当然”，详细信息取决于您使用的框架。