machine-learning - 深度神经网络有多少个隐藏层

Question

有人能告诉我“通常”深度神经网络有多少层吗？多深才算足够深？

据我所知，目前还很难说出隐藏层的具体数量。但谁能告诉我，比如一些例子，研究人员、开发人员在他们的深度学习项目中会使用多少个隐藏层？

非常感谢。

Answer 1

这完全取决于您尝试建模的问题。层数越多，训练网络就越困难(需要更多的计算能力)。然而，层越深，它能解决的问题就越复杂。

杰弗里·辛顿 (Geoffrey Hinton) 在他的 tutorial 中写道:

How many lines of code should an AI program use and how long should each line be? – This is obviously a silly question.

• Deep belief nets give the creator a lot of freedom.

– How best to make use of that freedom depends on the task.

– With enough narrow layers we can model any distribution over binary vectors (Sutskever & Hinton, 2007)

• If freedom scares you, stick to convex optimization of shallow models that are obviously inadequate for doing Artificial Intelligence.

据我所知，层数通常并不是很大。 Here (2014 年 ImageNet 大规模视觉识别挑战赛)谷歌团队使用了 22 层的网络。