python - 如何评估/提高具有不平衡数据集的神经网络预测的准确性？

Question

我使用 gridsearchcv 来确定 mlpclassifier 中的哪些超参数可以使我的神经网络的准确性更高。我发现层数和节点的数量会产生影响，但我试图找出哪些其他配置可以影响准确性(实际上是 F1 分数)。但根据我的经验，“激活”、“学习率”、“求解器”等参数似乎并没有真正改变任何东西。我需要研究哪些其他超参数可以影响神经网络预测的准确性。

是否有人对哪些参数与层/节点数量不同可以影响我的神经网络预测的准确性有一些提示/想法？

Answer 1

这完全取决于您的数据集。神经网络并不是可以学习一切的神奇工具，而且与传统的机器学习模型相比，它们需要大量的数据。就 MLP 而言，通过添加大量层来使模型变得极其复杂绝不是一个好主意，因为它会使模型变得更加复杂、缓慢，并且还可能导致过度拟合。学习率是一个重要因素，因为它用于寻找模型的最佳解决方案。模型会犯错误并从中学习，学习速度由学习率控制。如果学习率太小，您的模型将需要很长时间才能达到最佳阶段，但如果学习率太高，模型可能会跳过最佳阶段。激活函数的选择同样取决于用例和数据，但对于更简单的数据集，激活函数不会产生巨大的差异。

在传统的深度学习模型中，神经网络由多个层组成，这些层可能并不总是密集的。 MLP 中的所有层都是密集的，即前馈。为了改进模型，您可以尝试将密集层与 cnn、rnn、lstm、gru 或其他层结合起来。使用哪个层完全取决于您的数据集。如果您在学校项目中使用非常简单的数据集，请尝试使用传统的机器学习方法(例如随机森林)，因为您可能会得到更好的结果。

如果您想坚持使用神经网络，请阅读其他类型的层、dropout、正则化、池化等。