data-mining - 比较 Carrot2 中的聚类结果

Question

我正在为我的论文使用 Carrot2 工具，并在该工具上运行不同的算法。我的问题是，如何科学地比较不同算法的结果？我的意思是，我需要证明算法 1 的聚类结果优于算法 2 的结果。熵和纯度值对我有用吗，如果是，我该如何应用它们？

谢谢。

Answer 1

在我看来，比较两种算法的最佳方法是展示它们在一些真实数据上的性能，并解释为什么它们在某些特殊情况下运行良好或运行不佳(例如，它适用于密集数据或稀疏数据，或与可变密度...)。在某些情况下，您可能能够做出理论证明，证明某些算法与另一种算法相比具有一些额外的理想属性。但这可能很难做到。

此外，为了确定结果是否良好，您可能需要领域专家来告诉您集群是否对您的应用程序领域有意义。

我的意思是熵和纯度之类的度量是有趣的度量。但最终，只有当数据挖掘技术为该领域产生有意义的结果时，它才适用于特定领域。

如果您正在开发一种通用的聚类算法，那么您可能会使用这些度量来证明您的算法在某些条件下比另一种算法具有更好的属性，并使用这些度量来争论这一点。但是你仍然需要用一些真实的数据来说明为什么它在某些情况下效果更好。