python - 如何找到聚类算法的成功率？

Question

我已经在图像数据集上实现了几种聚类算法。我对推导聚类的成功率很感兴趣。我必须检测肿瘤区域，在原始图像中我知道肿瘤位于何处，我想比较两个图像并获得成功百分比。以下图片:

原图:我知道癌症的位置

聚类算法后的图像

我正在使用 python 2.7。

Answer 1

分割准确度

这是图像分割文献中非常常见的问题，例如 here is a StackOverflow post

一种常见的方法是考虑“正确像素”与“错误像素”的比率，这在安全域的图像分割中很常见，例如，Mask RCNN , PixelNet .

将其视为更多的对象检测 任务，您可以获取对象外壳的重叠并仅测量 accuracy (通常分为 precision, recall 、 f-score 和其他措施 various bias/skews )。这允许您生成 ROC curve可以针对误报/漏报进行校准。

对于什么是正确的，没有与领域无关的共识。 KITTI provides both.

Mask RCNN 是最先进的开源技术，并提供了实现在python中的

• Computing image matching between segmented and original
• Displaying the differences

在您的领域(医学)中，适用标准统计规则。使用保留集。交叉验证。等等 (*)

注意:虽然文献空间大得令人生畏，但我还是提醒您看一些领域相关的论文，因为它们可能比其他观点采用更少的“统计捷径”(数字识别，例如)项目接受。

• "Metrics for evaluating 3D medical image segmentation: analysis, selection, and tool "提供了一些在你的域中的总结方法
• "Current methods in image segmentation "有大约 2500 次引用，但时间稍长。
• "Review of MR image segmentation techniques using pattern recognition "还比较老，可以让您安全地进入“传统”视觉模型。
• Automated Segmentation of MR Images of Brain Tumors主要是关于其分割验证过程

---

python

除了上面的 mask rcnn 链接，scikit-learn提供了一些非常用户友好的工具，被认为是 python 标准科学“堆栈”的一部分。

在 python 中实现图像之间的差异是微不足道的(使用 numpy)。这是一个矫枉过正 SO link .

python 中的边界框交集 is easy to implement on one's own ;我会使用像 shapely if you want to measure general polygon intersection 这样的库.

Scikit-learn 有一些不错的机器学习评估工具，例如，

• ROC curves
• Cross validation
• Model selection
• A million others

---

文献检索

您可能难以搜索答案的一个原因是，您正试图在监督学习 领域中衡量一种无监督方法(聚类)的性能。 “簇”在数学中基本上是未被充分定义的 (**)。您想查看监督学习文献以了解准确性。

也有关于无监督学习/聚类的文献，它们通常寻找拓扑结构。 Here's a very introductory summary .我不认为那是你想要的。

一个常见的问题，尤其是在规模上，是监督方法需要标签，可以是 time consuming to produce accurately用于密集分割。物体检测 makes it a little easier .

有一些现有的医学数据集(例如 [1]、[2] 和 some ongoing research in label-less metrics) .如果这些都不是您的选择，那么您可能不得不重新考虑将其视为无监督问题，但评估在范围和效用上会变得非常不同。

---

脚注

[*] Vision 人员有时会跳过交叉验证，即使他们不应该这样做，这主要是因为模型拟合速度很慢而且他们是一群懒惰的人。 请不要跳过 train/test/validation split ，否则您的结果可能毫无用处

[**] 您可以找到各种“正式”定义，但永远不会有两个人就哪个是正确的或最有用的定义达成一致。 Here's denser reading