python - 使用 scikit learn 进行稀疏编码后应用最大/平均池化进行分类

Question

我搞乱了 scikit-learn 的稀疏编码，我想尝试对图像进行分类。我有尺寸 128 x 128 的图像。我从中提取随机 7x7 补丁以提供给具有 100 个质心的 kmeans。这意味着我有一本包含 100 个原子的字典。因此，给定一个要分类的图像，我首先使用 extract_patches_2d 从该图像中提取补丁，如果我没有记错的话，它也称为 convolutional sampling 。这意味着我有 (128-7+1)^2 个图像补丁。我可以使用我的字典和正交匹配追求对每个补丁进行编码，留下 (128-7+1)^2*(128-7+1)^2 * 100 (稀疏)特征。

为了将此(14884,100) 矩阵转换为特征向量，下一步是什么。从我读到的内容来看，这是通过平均或最大池完成的，但我不太清楚给定这个矩阵是如何工作的。

Answer 1

您的图像是自然图像还是来自某些非常具体的设置或科学成像？如果您想对自然图像进行分类，我建议您研究使用神经网络进行特征提取，或使用 SIFT 等手工描述符(例如尝试 scikit-image 中的 DAISY)。

回答你的问题:要进行最大池化或平均池化，你需要决定是否要保留图像中的局部性。如果没有，您可以对每个图像获得的行进行最大值或平均值。如果你想保持局部性，你可以在图像上放置一个 3x3 或类似的网格，并仅取位于给定网格单元内的那些补丁的平均值/最大值。例如，这将为您提供每个图像 3x3x100 个特征。