machine-learning - CNN 和决策树/森林有什么区别

Question

我正在读一篇论文，这篇论文的作者 J. Welbl http://hci.iwr.uni-heidelberg.de/publications/mip/techrep/welbl_14_casting.pdf建议将卷积神经网络与决策树合并。这是从上面提到的论文中截取的图片:

这让我思考，我无法回答这两种方法之间有什么区别。由于在 CNN 中，反向传播和梯度下降用于训练决策，这也可以很容易地应用于决策树，因此输出应该是相同的？

我是对的还是完全错了？

Answer 1

事实上，决策树和 CNN 几乎没有任何共同点。这些模型的构建方式完全不同(特别是你不通过梯度下降来训练DT，它们无法表示特征之间的线性关系，等等......)、经过训练和一般情况特征。您可以简单地将 DT“转换”为神经网络(但不能反过来!)，但您可以使用(几乎)任何模型来执行此操作，这并不意味着一切都是神经网络。这仅表明神经网络总体上是多么模糊。

现在有更多详细信息。首先，论文讨论的是ANN(人工神经网络)，而不是CNN(卷积神经网络)。其次 - ANN 在可计算性方面的设置非常通用，您可以将每个非循环/循环计算表示为 ANN。此外，一旦你进入循环网络，你实际上可以证明它们是图灵完备的(因此每个算法都可以表示为 RNN)。唯一缺少的是原因。通常这样做是没有意义的。作者在这里只是声称，他们可以进一步微调以 ANN 表示的 RF，说实话，提供的结果几乎没有说服力(通过忘记 RF，你会失去它的极端简单性、易于并行化、少量的超参数、易于使用等)。特别是 - 您可以通过数百种方式微调 RF，并且显然通过拟合下一个超参数(他们这样做)并对其进行验证 - 您将提高分数。但这里显示的内容没有深度(当然没有建议 RF 是神经网络:-))，正如我所说 - 你可以将任何非循环/循环模型视为 ANN ，但它并不意味着特定模型(例如DT)是ANN。