python - SimCLR 不学习表示

Question

因此，我尝试在包含字母表的前 5 个字母的数据集上使用自定义轻量级 ConvNet 主干(已经尝试过使用 ResNet)训练 SimCLR 网络，其中随机选择两个字母并放置在图像中的随机位置。我不确定在这种情况下使用什么增强，所以我只使用图像翻译来提供增强样本之间的某种程度的差异。
这听起来像是一项极其微不足道的任务，但它在建立在卡住预训练网络之上的多标签分类器上表现非常差。我很确定这是因为学习的表示质量而不是线性分类器的质量有多差。显然，这在监督分类器上效果很好。
到目前为止我尝试过的变化:

使数据集单字母，随机位置(多类)并且表现非常好。

使用随机字母制作数据集，但中心位置相同，并且表现良好。上面提到的相同的增强也是如此。

来自数据集的示例图像(此处的标签是 [1, 1, 0, 0, 0] 表示存在的字母)

有人可以帮我弄清楚如何进行这项工作吗？

Answer 1

这不是我第一次听说有人尝试 SimCLR 并得到可怕的结果......
我有一些问题:

您是否尝试过对比预训练部分的其他损失？三重损失呢？

表示是否规范化？

您是否在您提到的变化中通过对比预训练获得了良好的结果？

两种模型(Resnet 和自定义 convnet)都获得了良好的监督分类结果吗？

您是否尝试将模型在 conv 层中学到的特征可视化？

您还可以尝试使用前向钩子(Hook)可视化特征图，看看网络“在看”什么。