python - 由于 NaN 屏蔽，model.get_weights() 在训练后返回 NaN 数组

Question

我正在尝试训练 LSTM 来对各种长度的序列进行分类。我想得到这个模型的权重，所以我可以在模型的有状态版本中使用它们。训练前，体重正常。此外，训练似乎运行成功，错误逐渐减少。但是，当我将掩码值从 -10 更改为 np.Nan 时，mod.get_weights() 开始返回 NaN 数组s 并且验证错误突然下降到接近于零的值。为什么会发生这种情况？

from keras import models
from keras.layers import Dense, Masking, LSTM
from keras.optimizers import RMSprop
from keras.losses import categorical_crossentropy
from keras.preprocessing.sequence import pad_sequences

import numpy as np
import matplotlib.pyplot as plt


def gen_noise(noise_len, mag):
    return np.random.uniform(size=noise_len) * mag


def gen_sin(t_val, freq):
    return 2 * np.sin(2 * np.pi * t_val * freq)


def train_rnn(x_train, y_train, max_len, mask, number_of_categories):
    epochs = 3
    batch_size = 100

    # three hidden layers of 256 each
    vec_dims = 1
    hidden_units = 256
    in_shape = (max_len, vec_dims)

    model = models.Sequential()

    model.add(Masking(mask, name="in_layer", input_shape=in_shape,))
    model.add(LSTM(hidden_units, return_sequences=False))
    model.add(Dense(number_of_categories, input_shape=(number_of_categories,),
              activation='softmax', name='output'))

    model.compile(loss=categorical_crossentropy, optimizer=RMSprop())

    model.fit(x_train, y_train, batch_size=batch_size, epochs=epochs,
              validation_split=0.05)

    return model


def gen_sig_cls_pair(freqs, t_stops, num_examples, noise_magnitude, mask, dt=0.01):
    x = []
    y = []

    num_cat = len(freqs)

    max_t = int(np.max(t_stops) / dt)

    for f_i, f in enumerate(freqs):
        for t_stop in t_stops:
            t_range = np.arange(0, t_stop, dt)
            t_len = t_range.size

            for _ in range(num_examples):
                sig = gen_sin(f, t_range) + gen_noise(t_len, noise_magnitude)
                x.append(sig)

                one_hot = np.zeros(num_cat, dtype=np.bool)
                one_hot[f_i] = 1
                y.append(one_hot)

    pad_kwargs = dict(padding='post', maxlen=max_t, value=mask, dtype=np.float32)
    return pad_sequences(x, **pad_kwargs), np.array(y)


if __name__ == '__main__':
    noise_mag = 0.01
    mask_val = -10
    frequencies = (5, 7, 10)
    signal_lengths = (0.8, 0.9, 1)
    dt_val = 0.01

    x_in, y_in = gen_sig_cls_pair(frequencies, signal_lengths, 50, noise_mag, mask_val)
    mod = train_rnn(x_in[:, :, None], y_in, int(np.max(signal_lengths) / dt_val), mask_val, len(frequencies))

即使我将网络架构更改为 return_sequences=True 并用 TimeDistributed 包装 Dense 层，也不会删除 LSTM层。

Answer 1

我遇到了同样的问题。在你的情况下，我可以看到它可能有所不同，但有人可能有同样的问题并从谷歌来到这里。所以在我的例子中，我将 sample_weight 参数传递给 fit() 方法，当样本权重中包含一些零时，get_weights() 返回一个包含 NaN 的数组。当我省略 sample_weight=0 的样本时(如果 sample_weight=0 它们就没用了)，它开始工作了。