machine-learning - 神经网络特征组合学

Question

假设我们有一个具有足够多隐藏层数、每层隐藏单元数和迭代次数的神经网络，这样这些参数就不会影响网络的预测。

给定特征 x1, x2, ..., xn，是否有可能(证明)给定此特征子集(x1 到 xn)，一系列潜在特征是否是冗余的。也就是说，给定这些特征(x1 到 xn)，神经网络可以识别其他特征，例如:

• 差异或补充(x1-x49 或 x17+xn)？
• 乘积和比率(x1*x1 或 x47/xn)
• 高阶多项式(或序列的乘积，如 ∏(x1通过 xn))
• 基于原始特征的三角函数 (sin(x1*xn) +x17)
• 对数函数 (ln(x2*x4)/x6)

正是在这一询问中，我想知道是否存在使用神经网络的情况，您需要添加更高阶或不同的函数以使网络准确预测。

一般来说，给定足够数量的特征，网络是否可以对任何图进行建模，如果不能，神经网络无法预测哪些功能域？

此外，是否有人可以指出引用该主题的任何研究？

谢谢!

Answer 1

Given features x1, x2, ..., xn, is it possible (to prove) whether or not a range of potential features are redundant given this subset of features (x1 through xn). That is, given these features (x1 through xn), can a neural network discern other features

您似乎正在寻找神经网络的降维方法。自动编码器可以做到这一点:

• 您有输入 x1、x2、...、xn。
• 您创建一个获取这些输入(n 个输入节点)的网络。它有一些隐藏层、一个瓶颈(k 个节点，k < n)和一个输出层(n 个节点)。
• 目标是重新创建输入。

训练完成后，您将丢弃输出后的层。如果网络能够从瓶颈恢复输入，则不需要后面的层。

In general, given some adequate number of features, is it possible for the network to model ANY graph, and if not what functional domains can neural networks not predict?

我猜您正在寻找Universal approximation theorem 。简而言之:只要给神经网络足够的节点和至少一个隐藏层，神经网络就可以在任意接近的 R^n 紧凑子集上逼近任何连续函数