machine-learning - 仅在 Keras 中对某些输入进行 BatchNormalization

Question

我的 LSTM 网络有 5 个输入。第一个输入的典型值为 1000 到 3000。其余输入的值为 -1 到 1。

我想插入 BatchNormalization 作为第一层。但输入 2-5 已经在 -1 和 1 之间，并且第一个输入比第一个输入大得多。也就是说，我想仅对第一个输入应用批量归一化，并保留输入 2-5 不变。然后第一个(标准化)输入和 2-5 个输入应传递到 LSTM 层。

      +----+   +---+
 1 -->| BN |-->|   |
      +----+   | L |
 2 ----------->| S |
 3 ----------->| T |
 4 ----------->| M | 
 5 ----------->|   |
               +---+

如何在 Keras 中完成？

我认为我可以为第一个输入使用 BatchNormalization 裸层创建模型，然后将其与其余层连接起来。但我不确定也不知道到底如何做到这一点。

Answer 1

尝试以下定义:

from keras.layers.merge import concatenate

input_tensor = Input(shape=(timesteps, 5)) 

# now let's split tensors
split_1 = Lambda(lambda x: x[:, :, :1])(input_tensor)
split_2 = Lambda(lambda x: x[:, :, 1:])(input_tensor)

split_1 = BatchNormalization()(split_1)

# now let's concatenate them again
follow = concatenate([split_1, split_2])

但正如 Daniel 在评论中提到的 - 最好对数据进行标准化以处理此类不一致 - 使用 BatchNormalization 可能会导致性能更差。