catboost - CatBoost 中的多类多标签分类

Question

我需要使用 CatBoost 执行多类多标签分类。

示例数据:

X = [[1, 2, 3, 4], [2, 3, 5, 1], [4, 5, 1, 3]]

y = [[3, 1], [2, 8], [7, 8]]

您能提供一个工作示例吗？

我想我需要用一些 sklearn 分类器包装 CatBoostClassifier。

谢谢!

Answer 1

你是对的，这可以使用 sklearn 包装器来完成，特别是 sklearns one-vs-rest 分类器的实现。该技术为每个类构建一个分类器，将您的问题视为二元分类问题的组合，每个类一个。

这是如何运作的？对于给定的类，标有给定类的样本构成正样本，所有其他样本都被视为负样本。

当您的类(class)数量较少时，这是一种可行的方法。然而，当你有大量的类时，内存使用和训练时间将变得令人望而却步。在这种情况下，假设您拥有大量数据，使用基于神经网络的方法实现解决方案的效率会高得多。

这是一个工作示例:

from catboost import CatBoostClassifier
from sklearn.multiclass import OneVsRestClassifier
from sklearn.preprocessing import MultiLabelBinarizer

##Using your example data 

X = [[1, 2, 3, 4], [2, 3, 5, 1], [4, 5, 1, 3]]

y = [[3, 1], [2, 8], [7, 8]]

mlb = MultiLabelBinarizer()
mlb.fit(y)
y_k_hot = mlb.transform(y)

ovr = OneVsRestClassifier(estimator=CatBoostClassifier(iterations=10,random_state=1))
ovr.fit(X,y_k_hot)

ovr.predict(X)*mlb.classes_

array([[1, 0, 3, 0, 0],
       [0, 2, 0, 0, 8],
       [0, 0, 0, 7, 8]])