- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我对深度学习模型非常陌生,并尝试使用 LSTM 和 Keras Sequential 来训练多个时间序列模型。 50 年中每年有 25 个观测值 = 1250 个样本,因此不确定是否可以将 LSTM 用于如此小的数据。然而,我有数千个特征变量,不包括时间滞后。我正在尝试预测接下来 25 个时间步长的数据序列。数据在 0 和 1 之间标准化。我的问题是,尽管尝试了许多明显的调整,但我无法获得接近训练损失的 LSTM 验证损失(我认为严重过度拟合)。
我尝试调整每个隐藏层的节点数 (25-375)、隐藏层数 (1-3)、dropout (0.2-0.8)、batch_size (25-375) 和训练/测试分割 (90) %:10% - 50%-50%)。没有什么真正会对验证损失/训练损失差异产生太大影响。
# SPLIT INTO TRAIN AND TEST SETS
# 25 observations per year; Allocate 5 years (2014-2018) for Testing
n_test = 5 * 25
test = values[:n_test, :]
train = values[n_test:, :]
# split into input and outputs
train_X, train_y = train[:, :-25], train[:, -25:]
test_X, test_y = test[:, :-25], test[:, -25:]
# reshape input to be 3D [samples, timesteps, features]
train_X = train_X.reshape((train_X.shape[0], 5, newdf.shape[1]))
test_X = test_X.reshape((test_X.shape[0], 5, newdf.shape[1]))
print(train_X.shape, train_y.shape, test_X.shape, test_y.shape)
# design network
model = Sequential()
model.add(Masking(mask_value=-99, input_shape=(train_X.shape[1], train_X.shape[2])))
model.add(LSTM(375, return_sequences=True))
model.add(Dropout(0.8))
model.add(LSTM(125, return_sequences=True))
model.add(Dropout(0.8))
model.add(LSTM(25))
model.add(Dense(25))
model.compile(loss='mse', optimizer='adam')
# fit network
history = model.fit(train_X, train_y, epochs=20, batch_size=25, validation_data=(test_X, test_y), verbose=2, shuffle=False)
纪元 19/20
纪元 20/20
我认为我一定做了一些明显错误的事情,但由于我是新手而无法意识到这一点。我希望要么获得一些有用的验证损失(与训练相比),要么知道我的数据观察对于有用的 LSTM 建模来说根本不够大。非常感谢任何帮助或建议,谢谢!
最佳答案
一般来说,如果您看到验证损失比训练损失高得多,则表明您的模型过度拟合 - 它学习“迷信”,即在您的训练数据中意外碰巧为真的模式,但事实并非如此有现实基础,因此验证数据不真实。
这通常表明您的模型“太强大”,参数太多,无法记住有限的训练数据。在您的特定模型中,您试图从一千个数据点中学习近一百万个参数(尝试打印 model.summary()
) - 这是不合理的,学习可以从数据中提取/压缩信息,而不是凭空创建信息。
在构建模型之前,您应该问(并回答!)的第一个问题是关于预期的准确性。您应该有一个合理的下限(什么是简单的基线?对于时间序列预测,例如线性回归可能是一个)和上限(给定相同的输入数据而没有其他数据,专家可以预测什么?)。
很大程度上取决于问题的性质。您确实必须问,这些信息是否足以得到一个好的答案?对于时间序列预测的许多现实生活问题,答案是否定的 - 这种系统的 future 状态取决于许多变量,而这些变量无法通过简单地查看历史测量来确定 - 要合理地预测下一个值,您需要除了历史价格之外,还引入了大量外部数据。 Tukey 有一句经典名言:“一些数据和对答案的强烈渴望的结合并不能确保可以从给定的数据中提取合理的答案。”
关于machine-learning - 验证损失远高于训练损失,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55444737/
在 JSF2 应用程序中遇到验证属性的问题时,有两种主要方法。 使用 Annotation 在 ManagedBean 上定义验证 @ManagedBean public class MyBean {
我想实现一个不常见的功能,我认为 jquery 验证插件将是最好的方法(如果您在没有插件的情况下建议和回答,我们也会欢迎)。我想在用户在输入字段中输入正确的单词后立即隐藏表单。我试过这个: $("
我有几个下拉菜单(类名为month_dropdown),并且下拉菜单的数量不是恒定的。我怎样才能为它们实现 NotEqual 验证。我正在使用 jQuery 验证插件。 这就是我写的 - jQuery
我设法制作了这个网址验证代码并且它起作用了。但我面临着一个问题。我认为 stackoverflow 是获得解决方案的最佳场所。 function url_followers(){ var url=do
我目前正在使用后端服务,该服务允许用户在客户端应用程序上使用 Google Games 库登录。 用户可以通过他们的 gplay ID 向我们发送信息,以便登录或恢复旧帐户。用户向我们发送以下内容,包
我正在尝试验证输入以查看它是否是有效的 IP 地址(可能是部分地址)。 可接受的输入:172、172.112、172.112.113、172.112.113.114 Not Acceptable 输入
我从 Mongoose 验证中得到这条消息: 'Validator failed for path phone with value ``' 这不应该发生,因为不需要电话。 这是我的模型架构: var
我一直在尝试使用Python-LDAP (版本 2.4.19)在 MacOS X 10.9.5 和 Python 2.7.9 下 我想在调用 .start_tls_s() 后验证与给定 LDAP 服务
我正在处理一个仅与 IE6 兼容的旧 javascript 项目(抱歉...),我想仅在 VS 2017 中禁用此项目的 ESLint/CSLint/Javascript 验证/CSS 验证。 我知道
我正在寻找一种方法来验证 Spring 命令 bean 中的 java.lang.Double 字段的最大值和最小值(一个值必须位于给定的值范围之间),例如, public final class W
我正在尝试在 springfuse(JavaEE 6 + Spring Framework (针对 Jetty、Tomcat、JBoss 等)) 和 maven 的帮助下构建我的 webapps 工作
我试图在我们的项目中使用 scalaz 验证,但遇到了以下情况: def rate(username: String, params: Map[String, String]): Validation
我有一个像这样的 Yaml 文件 name: hhh_aaa_bbb arguments: - !argument name: inputsss des
我有一个表单,人们可以单击并向表单添加字段,并且我需要让它在单击时验证这些字段中的值。 假设我单击它两次并获取 2 个独立的字段集,我需要旋转 % 以确保它在保存时等于 100。 我已放入此函数以使其
在我的页面中有一个选项可以创建新的日期字段输入框。用户可以根据需要创建尽可能多的“截止日期”和“起始日期”框。就像, 日期_to1 || date_from1 日期到2 ||日期_from2 date
我有一个像这样的 Yaml 文件 name: hhh_aaa_bbb arguments: - !argument name: inputsss des
有没有办法在动态字段上使用 jquery 验证表单。 我想将其设置为必填字段 我正在使用 Jsp 动态创建表单字段。 喜欢 等等...... 我想使用必需的表单字段验证此表单字段。 最佳答
嗨,任何人都可以通过提供 JavaScript 代码来帮助我验证用户名文本框不应包含数字,它只能包含一个字符。 最佳答案 使用正则表达式: (\d)+ 如果找到匹配项,则字符串中就有一个数字。 关于J
我有两个输入字段holidayDate和Description(id=tags) $(document).ready(function() {
我遇到了这个问题,这些验证从电子邮件验证部分开始就停止工作。 我只是不明白为什么即使经过几天的观察,只是想知道是否有人可以在这里指出我的错误? Javascript部分: function valid
我是一名优秀的程序员,十分优秀!