python - Keras - 使用大量特征

Question

我正在开发一个 Keras NN，它使用 20,000 个特征来预测标签。我可以构建网络，但必须使用系统 RAM，因为模型太大，无法容纳我的 GPU，这意味着需要几天时间才能在我的计算机上运行模型。当前输入为 500,20000,1，输出为 500,1,1

-我在第一个全连接(密集)层中使用了 5,000 个节点。这对于特征数量来说足够了吗？- 有没有办法降低维度以便在我的 GPU 上运行它？

Answer 1

我想每个输入条目的大小为 (20000, 1) 并且您的数据库有 500 个条目？

在这种情况下，您可以从减少 batch_size 开始，但我也认为您的意思是，即使是网络权重也不适合您的 GPU 内存。在这种情况下，(据我所知)你唯一能做的就是降维。

您有 20000 个特征，但它们不太可能对输出值都很重要。通过 PCA(主成分分析)，您可以检查所有参数的重要性，您可能会发现其中只有少数参数组合起来对最终结果的重要性达到 90% 或以上。在这种情况下，您可以忽略不重要的特征并创建一个网络，该网络仅基于 1000 个(甚至更少)特征来预测输出。

重要提示:我能想到您需要这么多功能的唯一原因是，如果您正在处理图像、光谱(您可以将光谱视为一维图像)...我建议研究卷积神经网络。它们不是完全连接的，这消除了许多可训练的参数，同时可能表现得更好。