python - 如何评估HDBSCAN文本簇？

Question

我目前正在尝试使用 HDBSCAN 来集群电影数据。目标是将相似的电影聚类在一起(基于关键字、流派、 Actor 姓名等电影信息)，然后将 LDA 应用于每个聚类并获取代表性主题。然而，我很难评估结果(除了可视化分析，随着数据的增长，它的效果并不好)。对于LDA，虽然很难评估它，但我一直在使用一致性度量。但是，有人知道如何评估 HDBSCAN 制作的集群吗？我找不到太多相关信息，所以如果有人有任何想法，我将非常感激!

Answer 1

HDBSCAN 实现 Density-Based Clustering Validation在名为 relative_validity 的方法中。它将允许您将使用一组给定的超参数获得的一个聚类与另一个聚类进行比较。一般来说，请阅读 cluster analysis和 cluster validation 。 Here's与 HDBSCAN 库的作者对此进行了很好的讨论。