artificial-intelligence - 神经网络的优缺点

Question

我说神经网络擅长为问题找到“足够好”的解决方案是否正确？

我这么想是因为他们不为给定的输入提供二进制输出，而是一个概率，例如 0.67 可能是一个输出。

我也在猜测，因为它们经常用于泛化，它们擅长找到经常解决问题的解决方案，但在极少数情况下不会。

谢谢!

Answer 1

这是一个非常广泛的问题。通常，具有一个隐藏层、非线性激活函数和足够数量的隐藏神经元的神经网络能够以任意精度逼近任何函数。然而，误差函数不是凸的，因此训练的结果取决于初始化。

SVM 也能够逼近任何函数。它们非常受欢迎，因为优化问题有一个独特的解决方案，而且可能还有其他一些原因。但最近的研究表明，多层感知器、卷积神经网络、深度置信神经网络、多列深度神经网络等神经网络在处理海量数据的复杂应用时效率更高，效果更好。因此，正如 LiKao 所说(没有免费午餐定理)，这始终是一种权衡，并且没有分类器是“完美的”。

这是一篇论文，描述了深度网络与包括支持向量机的“浅层网络”相比的优势:http://yann.lecun.com/exdb/publis/pdf/bengio-lecun-07.pdf

这是一个标准的基准和不同学习算法的比较:http://yann.lecun.com/exdb/mnist/

这里有一篇论文描述了一种新型神经网络，特别擅长解决一些视觉问题(交通标志识别，ocr):http://arxiv.org/abs/1202.2745