- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
尽管我对机器学习并不陌生,但我对神经网络仍然比较陌生,更具体地说是如何实现它们(在 Keras/Python 中)。前馈和卷积架构相当简单,但我在使用 RNN 时遇到了麻烦。
我的 X
数据由可变长度序列组成,该序列中的每个数据点都有 26 个特征。我的 y
数据虽然长度可变,但每对 X
和 y
具有相同的长度,例如:
X_train[0].shape: (226,26)
y_train[0].shape: (226,)
X_train[1].shape: (314,26)
y_train[1].shape: (314,)
X_train[2].shape: (189,26)
y_train[2].shape: (189,)
我的目标是将序列中的每个项目分类为 39 个类别之一。
到目前为止,我通过阅读示例代码可以了解到,我们做了如下的事情:
encoder_inputs = Input(shape=(None, 26))
encoder = GRU(256, return_state=True)
encoder_outputs, state_h = encoder(encoder_inputs)
decoder_inputs = Input(shape=(None, 39))
decoder_gru= GRU(256, return_sequences=True)
decoder_outputs, _ = decoder_gru(decoder_inputs, initial_state=state_h)
decoder_dense = Dense(39, activation='softmax')
decoder_outputs = decoder_dense(decoder_outputs)
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
model.compile(loss=keras.losses.categorical_crossentropy,
optimizer=keras.optimizers.Adadelta(),
metrics=['accuracy'])
这对我来说很有意义,因为每个序列都有不同的长度。因此,对于遍历所有序列的 for 循环,我们在第一个 GRU 层的输入形状中使用 None
因为我们不确定序列长度是多少,然后返回隐藏状态 该编码器的state_h
。第二个 GRU 层返回序列,并且初始状态是从编码器返回的状态,然后我们将输出传递到最终的 softmax 激活层。
显然这里有一些缺陷,因为我得到:
decoder_outputs, _ = decoder_gru(decoder_inputs, initial_state=state_h)
File "/usr/local/lib/python3.6/dist-
packages/tensorflow/python/framework/ops.py", line 458, in __iter__
"Tensor objects are only iterable when eager execution is "
TypeError: Tensor objects are only iterable when eager execution is
enabled. To iterate over this tensor use tf.map_fn.
This link指向建议的解决方案,但我不明白为什么您要将编码器状态添加到网络中尽可能多的层的元组中。
我真的在寻求帮助,以便能够成功编写这个 RNN 来完成这项任务,同时也理解。我对 RNN 非常感兴趣,并希望更深入地了解它们,以便将它们应用于其他问题。
作为额外说明,每个序列的形状为 (sequence_length, 26)
,但我将 (1,equence_length, 26)
的维度扩展为 >X
和 (1,sequence_length)
为 y
,然后将它们传递到 for 循环中以进行拟合,并使用 decoder_target_data
比当前输入提前一步:
for idx in range(X_train.shape[0]):
X_train_s = np.expand_dims(X_train[idx], axis=0)
y_train_s = np.expand_dims(y_train[idx], axis=0)
y_train_s1 = np.expand_dims(y_train[idx+1], axis=0)
encoder_input_data = X_train_s
decoder_input_data = y_train_s
decoder_target_data = y_train_s1
model.fit([encoder_input_data, decoder_input_data], decoder_target_data,
epochs=50,
validation_split=0.2)
对于我编写的其他网络(前馈和 CNN),我通过在 Keras 的 Sequential 类之上添加层来指定模型。由于 RNN 固有的复杂性,我认为使用上面的 Keras 输入类并检索隐藏状态(以及 LSTM 的单元状态)等的一般格式是合乎逻辑的,但我也看到它们是使用 Keras 的 Sequential 类构建的。尽管这些是多对一类型的任务,但我也对您如何以这种方式编写它感兴趣。
最佳答案
问题是 decoder_gru
层不返回其状态,因此您不应使用 _
作为状态的返回值(即仅删除 ,_
):
decoder_outputs = decoder_gru(decoder_inputs, initial_state=state_h)
<小时/>
由于输入和输出长度相同,并且输入和输出的元素之间存在一对一的映射,因此您也可以通过以下方式构建模型:
inputs = Input(shape=(None, 26))
gru = GRU(64, return_sequences=True)(inputs)
outputs = Dense(39, activation='softmax')(gru)
model = Model(inputs, outputs)
现在,您可以通过将多个 GRU 层堆叠在一起来使该模型更加复杂(即增加其容量):
inputs = Input(shape=(None, 26))
gru = GRU(256, return_sequences=True)(inputs)
gru = GRU(128, return_sequences=True)(gru)
gru = GRU(64, return_sequences=True)(gru)
outputs = Dense(39, activation='softmax')(gru)
model = Model(inputs, outputs)
此外,您可以使用具有更多表示能力的 LSTM 层,而不是使用 GRU 层(当然这可能会以增加计算成本为代价)。并且不要忘记,当您增加模型的容量时,也会增加过度拟合的机会。因此,您必须牢记这一点并考虑防止过度拟合的解决方案(例如添加正则化)。
旁注:如果您有可用的 GPU,则可以使用 CuDNNGRU
(或 CuDNNLSTM
)层,它已针对 GPU 进行了优化,因此与 GRU
相比,它的运行速度要快得多。
关于python - 如何在 Keras 中正确设置 RNN 以进行序列到序列建模?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52023702/
我使用 tensorflow 实现了一个简单的 RNN 模型来学习时间序列数据的可能趋势并预测 future 值。然而,该模型总是在训练后产生相同的值。实际上,它得到的最佳模型是: y = b. RN
我正在关注this tutorial关于循环神经网络。 这是导入: import tensorflow as tf from tensorflow.examples.tutorials.mnist i
一段时间以来,我一直在苦思冥想,无法弄清楚我在实现这些 RNN 时做错了什么(如果有的话)。为了让你们省去前向阶段,我可以告诉你们这两个实现计算相同的输出,所以前向阶段是正确的。问题出在倒退阶段。 这
我正在用 RNN 练习。我随机创建 5 个整数。如果第一个整数是奇数,则 y 值为 1,否则 y 为 0(因此,只有第一个 x 有效)。问题是,当我运行这个模型时,它不会“学习”:val_loss 和
我正在使用 bidirectional_rnn与 GRUCell但这是一个关于 Tensorflow 中 RNN 的普遍问题。 我找不到如何初始化权重矩阵(输入到隐藏,隐藏到隐藏)。它们是随机初始化的
我正在尝试找出适应开放命名实体识别问题的最佳模型(生物学/化学,因此不存在实体字典,但必须通过上下文来识别它们)。 目前我最好的猜测是调整 Syntaxnet,这样它就不会将单词标记为 N、V、ADJ
我正在通过以下方式训练 RNN: def create_rnn_model(stateful,length): model = Sequential() model.add(Simpl
我对 PyTorch 非常陌生,而且对一般神经网络也相当陌生。 我试图构建一个可以猜测性别名字的神经网络,并且基于判断国籍的 PyTorch RNN 教程。 我的代码运行没有错误,但损失几乎没有变化,
我正在尝试训练一个模型,返回单词序列(RNN)的类。 我为我的模型提供一系列嵌入: [ batchSize, sequence_length, word_embedding ] as float[]
我正在尝试预测输入向量中每个数字的类别。有3个类(class)。如果输入值从 0 变为 1,则为 1 类。如果从 1 变为 0,则为 2 类。否则为 0 类。 在第二个纪元之后,精度停留在 0.882
我正在尝试为我的日志分析项目开发一个顺序 RNN。 输入是一个日志序列,例如 [1,2,3,4,5,6,1,5,2,7,8,2,1] 目前我正在使用 keras 库中的 to_categorical
为了加深我对 RNN 和 LSTM 的理解,我正在尝试实现一个简单的 LSTM 来估计正弦波的频率和相位。事实证明,这出奇地难以收敛。 MSE 相当高(以千为单位)唯一似乎有点工作的是,如果我生成所有
请帮助我编写以下代码,当我尝试直接在数据上拟合模型时,该代码运行良好,但在网格搜索上失败(我已注释掉直接 model.fit()我的 grid.fit() 语句末尾的部分,这给了我满意的结果。还请告诉
前提1: 关于 RNN 层中的神经元 - 我的理解是,在“每个时间步,每个神经元都接收输入向量 x (t) 和前一个时间步的输出向量 y (t –1)”[1]: 前提2: 据我了解,在 Pytorch
我想训练一个 RNN 来解决一个简单的回归问题。我有一个形状为 (35584,) 的数组 X_train,它表示几年来每小时的测量值。我还有相应的 Y_train 形状为 (35584,) 作为预期值
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 4 年前。 Improve this qu
pytorch实现变长输入的rnn分类 输入数据是长度不固定的序列数据,主要讲解两个部分 1、Data.DataLoader的collate_fn用法,以及按batch进行padding数据
基于循环神经网络(RNN)的古诗生成器,具体内容如下 之前在手机百度上看到有个“为你写诗”功能,能够随机生成古诗,当时感觉很酷炫= = 在学习了深度学习后,了解了一下原理,打算自己做个实现练练手
使用循环神经网络(RNN)实现影评情感分类 作为对循环神经网络的实践,我用循环神经网络做了个影评情感的分类,即判断影评的感情色彩是正面的,还是负面的。 选择使用RNN来做情感分类,主要是因为影评
我的目标是在 Keras/TensorFlow 中构建一个 RNN,它由循环单元层(GRU、LSTM 等)以及从网络底部到顶部的循环组成,以添加注意力机制或特殊的内存类型。我不熟悉符号循环,所以首先我
我是一名优秀的程序员,十分优秀!