machine-learning - 用于多标签分类的机器学习模型，其中我们知道标签之间的关系

Question

我手头上有一个问题，

我需要将输入数据分类到一个或多个标签 S1、S2、S3、S4

标签S1、S2、S3和S4之间存在关系，

如果输入标记为 Sn，则必须标记为 S1..Sn。

S1、S2、S3和S4就像实体X要经过的不同阶段。根据输入数据 X 可能会经历一个或多个阶段，X 必须经过 S1 才能到达 S2，S2 才能到达 S3，依此类推

我们希望确保只有那些到达S3的X才被允许通过，因此根据输入数据我们决定是否允许X通过S1

如果我们有输入数据以及 X 对于该输入数据已经过了哪些阶段等信息，我们可以选择哪些机器学习模型来预测 X 是否达到 S3

我正在考虑多标签分类的方向输入数据阶段S1和S2之间可能存在某种关系

更新:我必须用类似的例子进行训练1.输入数据为s12.输入数据为s23....4..

Answer 1

一些疑问

你的问题还很不清楚，例如:

We want to optimize that most X reaches S3, so based on input data we decide whether to allow X to go through S1 or not

实际上建议，最好的模型是“总是回答是”，因为它最大化了到达 S3 的对象数量(因为它只是让任何对象到达这一点)

总体思路

我假设有两种可能的解释:

1. 您有一个标签“管道”，这意味着该对象不能被标记为 S_n如果尚未标记为全部 S_i对于 i < n

   这似乎不是单个模型的问题，您可以以自然的方式管道模型，即。训练模型 1其识别，如果对象 x应该有标签S_1 。接下来，您训练模型 2所有具有标签 S_1 的数据在训练集中并预测标签S_2 ， 等等。在执行过程中，您只需询问每个模型 i如果它接受(标记)传入对象 x ，并在第一个说“不”时停止

2. 您对标签有一些更复杂的约束，这些约束可能严格也可能不严格。对于这种情况，您应该尝试 multi label classification with constraints 的多种方法之一，特别是有一个 tech report关于机器学习的这方面。

解决方案 1 - 近似测试函数

如果您的问题可以描述为:

• 您有数据点 X ，这样对于每个测试，您都知道一些可流水线测试的最大数量 T_i其中x通过
• 您想要训练一个能够预测您的观点的连续测试的最大数量是多少 x通过
• 您无权访问实际测试 T_i或者他们效率很低

那么最简单的方法是应用以下训练过程而不是一个分类器:

1. 获取所有数据点，并用 y=0 标记它们。如0以及 y>=1 的人如1并训练一些二元分类器(例如SVM)。因此，您只需暂时重新标记数据，以便显示通过第一次测试的点和未通过第一次测试的点。我们称这个分类器为 cl_1
2. 现在获取您的数据点，用 y=1 标记这些数据点如0以及 y>=2 的人如1再次训练二元分类器，并将其命名为cl_2
3. 重复直到所有测试都有其分类器，一般我们称之为分类器cl_i当它可以区分标有 y=i-1 的点时以及 y>=i 的人.

现在，要对新点进行分类，您只需迭代检查所有 cl_i对于 i=1,..,tests并回答最大的 i那cl_i(x)=1 。因此，您使用分类器“模拟”您的测试，并简单地说明它通过了多少个测试的近似值。

综上所述:每次测试都可以用一个二元分类器来近似，然后将“我们的点通过的最大后续测试数是多少”这个问题近似为“我们的点通过的最大后续分类器数是多少”归类为真实”。

解决方案 2 - 简单回归

您还可以简单地将输入空间的回归应用于其达到的测试数量。回归实际上有一个印记假设，即输出值是相关的。因此，如果您使用 (x,y) 对来训练数据哪里y x 是上次测试通过的编号，那么您实际上正在使用输出 y=3 的事实与首次获得 y=2 高度相关在计算中。这种回归(非线性!)可以简单地使用神经网络(可能是正则化的)来完成