apache-spark - Spark多标签分类

Question

我希望用 Spark 实现，这是一种具有多输出的多标签分类算法，但我很惊讶 Spark 机器学习库中没有任何模型可以做到这一点。

我怎样才能用 Spark 做到这一点？

否则 Scikit Learn Logistic Regresssion 支持输入/输出中的多标签分类，但不支持用于训练的大量数据。

查看scikit learn中的代码，请点击以下链接:
https://gist.github.com/mkbouaziz/5bdb463c99ba9da317a1495d4635d0fc

Answer 1

同样在 Spark 中有逻辑回归，它支持基于 api documentation 的多标签分类.另见 this .

使用适当的 Spark 配置，您在 scikitlearn 上遇到的大量训练数据的问题将随着 spark 消失。

另一种方法是对您的问题具有的每个标签使用二元分类器，并通过对该标签运行相关无关的预测来获得多标签。您可以使用任何二元分类器在 Spark 中轻松做到这一点。

间接地，也可能有帮助的是使用最近邻的多标签分类，这也是 state-of-the-art .一些最近的邻居 Spark 扩展，如 Spark KNN或 Spark KNN graphs ， 例如。