image-processing - 对图像进行分层采样

Question

我有一个数据科学问题，其中大约 7 万张图像已经标记为 20 个不同类别。有些类别有很多图像，而有些类别则有较少的图像。这反过来会导致数据集不平衡和结果不佳(目前准确度为 68%)。经过一些研究，我发现我需要对图像进行采样(图像挖掘？)，而不是选择所有图像。其中一种方法可能是分层抽样。问题是如何选择图像来优化模型的训练？我可以在 70k 图像上使用任何命令行工具或开源代码吗？

Answer 1

您的数据不平衡，因此为了解决这个问题，您可以简单地使用名为 Imbalanced learn 的库。该库最初专注于实现 SMOTE，但后来也实现了欠采样和过采样技术。它还与 scikit-learn 兼容。

使用这种方法，将导致数据重新采样，使每个类都具有几乎相同的实例。

第二个选项:您可以简单地为每个类别选择相同数量的图像并形成训练数据。由于缺乏适当的测试数据，这可能不会提高您的准确性，但您的模型肯定会变得更加稳健和通用。