python-3.x - 我们可以提取未训练过的类的 VGG16/19 特征吗

Question

我对实验中 VGG16/VGG19 特征的提取有疑问。

预训练的 VGG16 和 VGG19 模型已经在具有 1000 个类(例如 c1、c2、...c1000)的 ImageNet 数据集上进行了训练，通常我们从指定的第一个和第二个全连接层(“FC1”和'FC2');然后将这些 4096 维特征向量用于计算机视觉任务。

我的问题是，我们可以使用这些网络来提取不属于上述 1000 个类别中任何一个类别的图像的特征吗？换句话说，我们可以使用这些网络来提取带有标签 c1001 的图像的特征吗？请记住，c1001 不属于这些网络最初训练的 Imagenet 类。

在 https://www.pyimagesearch.com/2019/05/20/transfer-learning-with-keras-and-deep-learning/ 上提供的文章中，我引用以下内容 -

When performing feature extraction, we treat the pre-trained networkas an arbitrary feature extractor, allowing the input image topropagate forward, stopping at pre-specified layer, and taking theoutputs of that layer as our features

从上面的文字来看，对于图像是否必须属于 Imagenet 类之一没有任何限制。

请抽出一些时间来揭开这个谜团。

在研究论文中，作者只是简单地指出，他们使用了从在 Imagenet 数据集上预训练的 VGG16/VGG19 网络中提取的特征，但没有提供任何进一步的细节。

我给出一个案例供引用:

Animal with Attribute 数据集(参见 https://cvml.ist.ac.at/AwA2/ )是一个非常流行的数据集，包含 50 个动物类别，用于图像识别任务。作者为上述数据集图像提取了 ILSVRC 预训练的 ResNet101 特征。此 ResNet 101 网络已在 1000 个 imagenet 类别上进行了预训练(不同的 imagenet 类别可在 https://gist.github.com/yrevar/942d3a0ac09ec9e5eb3a#file-imagenet1000_clsidx_to_labels-txt 中找到)。

此外，AWA 类的排列如下:

antelope,  grizzly+bear, killer+whale, beaver, dalmatian, persian+cat, horse
german+shepherd, blue+whale, siamese+cat, skunk, mole, tiger, hippopotamus, leopard, moose, spider+monkey, humpback+whale, elephant, gorilla, ox, fox, sheep
seal, chimpanzee, hamster, squirrel, rhinoceros, rabbit, bat, giraffe, wolf, chihuahua, rat, weasel, otter, buffalo, zebra, giant+panda, deer, bobcat, pig, lion, mouse, polar+bear, collie, walrus, raccoon, cow, dolphin

现在，如果我们将数据集中的类与 1000 个 Imagenet 类进行比较，我们会发现像海豚、牛、浣熊、山猫、 bat 、海豹、羊、马、灰熊、长颈鹿等类在 Imagenet 中不存在作者仍然继续提取 ResNet101 特征。我相信提取的特征是可概括的，这就是为什么作者认为这些特征是 AWA 图像的有意义的表示。

你对此有何看法？

这个想法是获取不属于 ImageNet 类的图像的表示，并将它们与其他分类器中的标签一起使用。

Answer 1

是的，你可以，但是。

第一个全连接层中的特征应该编码非常通用的模式，例如角度、线条和简单的形状。您可以假设这些可以在其训练的类集之外进行推广。

但是，有一个但是 - 这些功能被发现可以最大限度地减少 1000 个类别的特定分类任务的错误。这意味着，不能保证它们有助于对任意类别进行分类。