machine-learning - 监督学习中的特征组合/联合特征

Question

在尝试为监督学习问题提出适当的特征时，我有以下想法，并想知道它是否有意义，如果有的话，如何通过算法来制定它。

在图像中，我想对两个区域进行分类，即两种“类型”的像素。假设我有一些有界结构，让我们取一个圆，我知道我可以将我的搜索空间限制在这个圆内。在那个圆圈内，我想找到一个分割轮廓，即将我的像素分为内部类 A 和外部类 B 的轮廓。

我想实现以下模型:

我知道靠近边界圆的像素更有可能属于外部类 B。

当然，我可以使用到边界圆的距离作为特征，然后算法将学习内部轮廓到边界圆的平均距离。

但是:我想知道我是否可以以更聪明的方式利用我的模型假设。一种启发式的想法是通过这个距离来衡量其他特征，也就是说，如果距离边界圆较远的像素想要属于外类 B，它必须具有令人信服的其他特征。

这引出了一个一般性问题:

如何利用算法先前单独学习的特征的联合信息？

还有一个具体问题:

在我概述的设置中，我的启发式想法有意义吗？应该在算法的哪个点使用这些信息？如果我想在文献中搜索类似的想法，推荐的文献是什么或者流行语是什么？

Answer 1

This leads to a general question:

How can one exploit joint information of features, that were prior individually learned by the algorithm?

目前还不清楚您在这里真正要问的是什么。 “算法单独学习”是什么意思，什么是“联合信息”？首先，问题太宽泛，不存在“通用监督学习模型”这样的尝试，每个模型的工作方式至少略有不同，大多数分为三类:

• 构建某种回归模型，将输入数据映射到输出，然后汇总结果进行分类(线性回归、人工神经网络)
• 构建数据的几何分离(例如支持向量机、分类 soms 等)
• 直接(或多或少)估计给定类别的概率(例如朴素贝叶斯、分类受限玻尔兹曼机等)

在它们中的每一个中，都有关于特征的某种编码的“联合信息”——分类函数就是它们的联合信息。在某些情况下，很容易解释(线性回归)，而在某些情况下几乎不可能(深度玻尔兹曼机，通常都是深度架构)。

And to a specific question:

In my outlined setup, does my heuristic idea make sense? At what point of the algorithm should this information be used? What would be recommended literature or what would be buzzwords if I wanted to search for similar ideas in the literature?

据我所知，这个概念是相当值得怀疑的。如果您的数据不相关，许多模型往往会学习和工作得更好，而您却试图做相反的事情 - 将所有内容与某些特定特征相关联。这导致了一个主要问题——你为什么要这样做？强制模型主要使用此功能？

• 如果它如此重要 - 也许监督学习不是一个好主意，也许您可​​以通过应用基于此特定功能的一组简单规则来直接建模您的问题？
• 如果您知道该功能很重要，但您知道在某些情况下其他因素也很重要，并且您无法对它们进行建模，那么您的问题将是为该功能赋予多少权重。它应该只是distance*other_feature吗？为什么不是sqrt(distance)*feature？ log(距离)*特征怎么样？可能性有无数种，寻求最佳权重方案的成本可能要高得多，然后寻找更好的机器学习模型，该模型可以从其原始特征中学习您的数据。
• 如果您只是怀疑该功能的重要性，那么最好的选择就是……不要相信这种信念。大量研究表明，机器学习模型在选择特征方面比人类更好。事实上，这就是非线性模型的全部意义。

在文献中，您试图解决的问题通常被称为将专业知识纳入学习过程。有成千上万的例子，其中有些知识无法直接编码为数据表示，但又非常有值(value)，不容忽视。您应该研究“机器学习专家知识”等术语及其可能的同义词。