machine-learning - 机器学习哲学 : applying model to biased data

Question

我有一个机器学习问题，我不知道是否有理论上的解决方案。

我有 标记 数据(我们称之为数据集 D1 )来构建随机森林分类模型并且它表现良好。

现在我的主要兴趣是将此模型应用于另一个数据集 D2 它的标签为零，这意味着我不能将它用于训练。在 上衡量性能的唯一方法D2 是检查从中预测的类的比例。

问题: D2 与 相比偏斜D1 (特征不具有相同的均值或拟合相同的分布)。因此，该模型适用于 D2 给一个类(class)的结果严重倾斜。我知道这是正常的，因为大多数 D2 类似于 的一个小子集D1 .

但是有没有办法纠正这种偏斜？我从我的问题的性质知道，预测的类(class)比例应该不那么有偏见。我试过规范化，但它并没有真正的帮助。

我觉得我没有直接思考:3

Answer 1

令人紧张的问题。我的回答分为三个部分。

免责声明:天下没有免费的午餐。因此，如果不检查真实测试集标签上的性能，您永远无法确定。最坏的情况是，您的问题中存在概念漂移，从而无法预测您的目标类别。但是，有一些解决方案可以提供非常好的结果

对于符号:

特征由 X 表示目标变量由 Y和由f(X) |-> Y学习的分类器. X的分布在 D1来自 P(X|D1) (有点滥用符号)

测试集中的类分布

您“假设可以使用预测变量中的分布(“检查从中预测的类的比例。”)。然而，这只能作为一个指示。我正在行业中构建分类器来预测机器将失败(预测性维护)。有很多工程师试图使我的输入数据倾斜，这使产生数据的机器更可靠。但是，这不是问题，因为一个类基本上消失了。但是，分类器仍然有效.

关于“如何修复”测试集上目标标签中的分布的问题，有一个非常简单的方法。这个想法基本上是根据预测的标签对所有测试实例进行分类，并根据所需的目标变量分布对数据点进行采样(替换)。然后，您可以尝试检查特征 X 的分布情况。但这不会告诉你太多。

偏度可能是个问题吗？实际上，作为分类器，它通常可以尝试最小化 accuracy的 F1度量或其他一些统计属性。如果您事先知道 D2 中的分布你可以提供一个成本函数来最小化这个分布下的成本。这些成本可用于对另一个答案中提到的训练数据进行重新采样，但是，一些学习算法也有更复杂的技术来合并这些信息。

异常值检测

一个问题是您是否可以检测到输入 X 中的某些内容发生了变化。 .这非常重要，因为这可能表明您拥有错误的数据。您可以应用相当简单的测试，例如所有维度的均值和分布。但是，这忽略了变量之间的依赖关系。

对于以下两个插图，我使用的是 iris 数据集


我想到了两种技术，它们可以让您检测数据中的某些内容发生了变化。第一种技术依赖于 PCA 转换。仅用于数值，但对于分类特征也有类似的想法。 PCA 允许您将输入数据转换为低维空间。这是PCA(X,t)=PCA([X1,...,Xn],t)=[Cond1,...,Condm]=Cond带投影t通常用 n<<m这种转换仍然是可逆的，使得 PCA^1(Cond,t) = X'和错误 MSE(X,X')是小。要检测问题，您可以监控此错误，一旦错误增加，您就可以说您不相信自己的预测。

如果我对来自 versicolor 的所有数据构建 PCA和 virginica并绘制重建二维(所有虹膜维度上的PCA)的误差，我得到



然而，如果 versicolor 是新数据，结果就不那么令人信服了。



然而，无论如何，PCA(或类似的)是针对数值数据完成的，因此，它可以在没有太多开销的情况下给出很好的指示。

我知道的第二种技术是基于所谓的一类支持向量机。正常的支持向量机将构建一个分类器来尝试分离两个目标类 Y .一类支持向量机试图将可见数据与不可见数据分开。如果您使用支持向量机进行分类，那么使用这种技术是相当有吸引力的。你基本上会得到两个分类。第一个表示目标数据，第二个表示之前是否看过类似的数据。

如果我在 setosa 上建立一个单级分类器和 virginca和新奇颜色我得到以下图表:



可以看出数据来自versicolor似乎戒烟了。在这种情况下，它是一个新类。然而，如果我们假设这些是 virginica 的实例，它们正在危险地靠近超平面。

半监督学习和转导

解决您的根本问题。 Transductive Learning 的想法，半监督学习的一个特例，可能很吸引人。在半监督学习中，训练集由两部分组成。标记数据和未标记数据。 Semi-sup-l 使用所有这些数据来构建分类器。转导学习是一种特殊情况，其中未标记的数据是您的测试数据 D2 . Vapnik 给出的想法是“当你想解决一个更简单的问题 [预测 D2 的标签] 时，不要试图解决更复杂的问题 [为所有可能的数据构建一个分类器]”

附录

绘图的 RCODE

ggplot(iris)+aes(x=Petal.Width,y=Petal.Length,color=Species)+geom_point()+stat_ellipse()
library(e1071)
iris[iris$Species %in% c("virginica","setosa"),]

ocl <- svm(iris[iris$Species %in% c("virginica","setosa"),3:4],type="one-classification")
coloring <- predict(ocl,iris[,3:4],decision.values=TRUE)

ggplot(iris)+aes(x=Petal.Width,y=Petal.Length,color=coloring)+geom_point()+stat_ellipse()
ggplot(iris)+aes(x=Petal.Width,y=Petal.Length)+geom_point(color=rgb(red=0.8+0.1*attr(coloring,"decision.values"),green=rep(0,150),blue=1-(0.8+0.1*attr(coloring,"decision.values"))))

pca <- prcomp(iris[,3:4])

#pca <- prcomp(iris[iris$Species %in% c("virginica","setosa"),1:4], retx = TRUE,  scale = TRUE)
pca <- prcomp(iris[iris$Species %in% c("virginica","setosa"),1:4], retx = TRUE,  scale = TRUE,tol=0.2)
  pca <- prcomp(iris[iris$Species %in% c("virginica","versicolor"),1:4], retx = TRUE,  scale = TRUE,tol=0.4)
  predicted <-predict(pca,iris[,1:4])
  inverted <- t(t(predicted %*% t(pca$rotation)) * pca$scale + pca$center)
  ggplot(inverted[,3:4]-iris[,3:4])+aes(x=Petal.Width,y=Petal.Length,color=iris$
                                    Species)+geom_point()+stat_ellipse()