- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我对深度学习模型非常陌生,并尝试使用 LSTM 和 Keras Sequential 来训练多个时间序列模型。 50 年中每年有 25 个观测值 = 1250 个样本,因此不确定是否可以将 LSTM 用于如此小的数据。然而,我有数千个特征变量,不包括时间滞后。我正在尝试预测接下来 25 个时间步长的数据序列。数据在 0 和 1 之间标准化。我的问题是,尽管尝试了许多明显的调整,但我无法获得接近训练损失的 LSTM 验证损失(我认为严重过度拟合)。
我尝试调整每个隐藏层的节点数 (25-375)、隐藏层数 (1-3)、dropout (0.2-0.8)、batch_size (25-375) 和训练/测试分割 (90) %:10% - 50%-50%)。没有什么真正会对验证损失/训练损失差异产生太大影响。
# SPLIT INTO TRAIN AND TEST SETS
# 25 observations per year; Allocate 5 years (2014-2018) for Testing
n_test = 5 * 25
test = values[:n_test, :]
train = values[n_test:, :]
# split into input and outputs
train_X, train_y = train[:, :-25], train[:, -25:]
test_X, test_y = test[:, :-25], test[:, -25:]
# reshape input to be 3D [samples, timesteps, features]
train_X = train_X.reshape((train_X.shape[0], 5, newdf.shape[1]))
test_X = test_X.reshape((test_X.shape[0], 5, newdf.shape[1]))
print(train_X.shape, train_y.shape, test_X.shape, test_y.shape)
# design network
model = Sequential()
model.add(Masking(mask_value=-99, input_shape=(train_X.shape[1], train_X.shape[2])))
model.add(LSTM(375, return_sequences=True))
model.add(Dropout(0.8))
model.add(LSTM(125, return_sequences=True))
model.add(Dropout(0.8))
model.add(LSTM(25))
model.add(Dense(25))
model.compile(loss='mse', optimizer='adam')
# fit network
history = model.fit(train_X, train_y, epochs=20, batch_size=25, validation_data=(test_X, test_y), verbose=2, shuffle=False)
纪元 19/20
纪元 20/20
我认为我一定做了一些明显错误的事情,但由于我是新手而无法意识到这一点。我希望要么获得一些有用的验证损失(与训练相比),要么知道我的数据观察对于有用的 LSTM 建模来说根本不够大。非常感谢任何帮助或建议,谢谢!
最佳答案
一般来说,如果您看到验证损失比训练损失高得多,则表明您的模型过度拟合 - 它学习“迷信”,即在您的训练数据中意外碰巧为真的模式,但事实并非如此有现实基础,因此验证数据不真实。
这通常表明您的模型“太强大”,参数太多,无法记住有限的训练数据。在您的特定模型中,您试图从一千个数据点中学习近一百万个参数(尝试打印 model.summary()
) - 这是不合理的,学习可以从数据中提取/压缩信息,而不是凭空创建信息。
在构建模型之前,您应该问(并回答!)的第一个问题是关于预期的准确性。您应该有一个合理的下限(什么是简单的基线?对于时间序列预测,例如线性回归可能是一个)和上限(给定相同的输入数据而没有其他数据,专家可以预测什么?)。
很大程度上取决于问题的性质。您确实必须问,这些信息是否足以得到一个好的答案?对于时间序列预测的许多现实生活问题,答案是否定的 - 这种系统的 future 状态取决于许多变量,而这些变量无法通过简单地查看历史测量来确定 - 要合理地预测下一个值,您需要除了历史价格之外,还引入了大量外部数据。 Tukey 有一句经典名言:“一些数据和对答案的强烈渴望的结合并不能确保可以从给定的数据中提取合理的答案。”
关于machine-learning - 验证损失远高于训练损失,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55444737/
进程虚拟机和系统虚拟机有什么区别? 我的猜测是,进程 VM 没有为该操作系统的整个应用程序提供一种操作系统,而是为某些特定应用程序提供环境。 系统虚拟机为操作系统提供了一个安装环境,就像 Virtua
我写了一个 C# windows 应用程序表单,它在客户端机器上运行并连接到另一台机器上的 SQL 服务器。在 C# 中建立连接时,我使用了像这样的 dll 1)microsoft.sqlserver
作为我作业的一部分,我正在处理几个数据集,并通过线性回归查找它们的训练错误。我想知道标准化是否对训练误差有影响?对于标准化前后的数据集,我的相关性和 RMSE 是相等的。 谢谢 最佳答案 很容易证明,
我在公司数据中心的 linux VM 上安装了 docker-engine。我在 Windows 上安装了 docker-machine。我想通过我的 Windows 机器管理这个 docker-en
我在我的 PC 上运行 SAS Enterprise Guide 以连接到位于我们网络内的服务器上的 SAS 实例。 我正在编写一个将在服务器上运行的 SAS 程序,该程序将使用 ODS 将 HTML
我正在创建一个包含 ASP.Net HttpModule 和 HttpHandler 的强签名类库。 我已经为我的库创建了一个 visual studio 安装项目,该项目在 GAC 中安装了该库,但
我试过 docker-machine create -d none --url tcp://:2376 remote并复制 {ca,key,cert}.pem (客户端证书)到机器目录。然后我做了 e
请注意 : 这个问题不是关于 LLVM IR , 但 LLVM 的 MIR ,一种低于前一种的内部中间表示。 本文档关于 LLVM Machine code description classes ,
我理解图灵机的逻辑。当给出图灵机时,我可以理解它是如何工作的以及它是如何停止的。但是当它被要求构造图灵机,难度更大。 有什么简单的方法可以找到问题的答案,例如: Construct a Turing
我不确定我是否理解有限状态机和状态机之间是否有区别?我是不是想得太难了? 最佳答案 I'm not sure I understand if there is a difference between
我遵循 docker 入门教程并到达第 4 部分,您需要使用 virtualbox ( https://docs.docker.com/get-started/part4/#create-a-clus
我使用 Virtual Machine Manager 通过 QEMU-KVM 运行多个客户操作系统。我在某处读到,通过输入 ctrl+alt+2 应该会弹出监视器控制台。它不工作或禁用。有什么办法可
当我尝试在项目中包含 libc.lib 时,会出现此错误,即使我的 Windows 是 32 位,也会出现此错误。不知道我是否必须从某个地方下载它或什么。 最佳答案 您正在尝试链接为 IA64 架构编
生成模型和判别模型似乎可以学习条件 P(x|y) 和联合 P(x,y) 概率分布。但从根本上讲,我无法说服自己“学习概率分布”意味着什么。 最佳答案 这意味着您的模型要么充当训练样本的分布估计器,要么
我正在使用 visual studio 2012.我得到了错误 LNK1112: module machine type 'x64' conflicts with target machine typ
使用 start|info|stop|delete 参数运行 boot2docker导致错误消息: snowch$ boot2docker start error in run: Failed to
到目前为止,我一直只在本地使用 Vagrant,现在我想使用 Azure 作为提供程序来创建 VM,但不幸的是,我遇到了错误,可以在通过链接访问的图像上看到该错误。我明白它说的是什么,但我完全不知道如
这个问题在这里已经有了答案: 关闭 10 年前。 Possible Duplicate: linking problem: fatal error LNK1112: module machine t
我正在使用 Nodejs 的 dgram 模块运行一个简单的 UDP 服务器。相关代码很简单: server = dgram.createSocket('udp4'); serve
嗨,我收到以下错误,导致构建失败,但在 bin 中创建了 Wix 安装程序 MSI。我怎样才能避免这些错误或抑制? 错误 LGHT0204:ICE57:组件 'cmp52CD5A4CB5D668097
我是一名优秀的程序员,十分优秀!