python - 连接两个池化层的特征

Question

我正在尝试设计一个双向 LSTM 模型，我想在最大池化层和平均池化层之后连接特征。我的模型有这个:

from keras.layers import Dense, Embedding
from keras.layers.recurrent import LSTM
from keras.layers import Bidirectional
from keras.models import Sequential
from keras.layers.core import Dropout
from features import train,embedding_matrix,words
from keras.layers import concatenate,AveragePooling1D,GlobalMaxPooling1D

model=Sequential()

model.add(Embedding(words,300,input_length=train.shape[1],weights=[embedding_matrix]))
model.add(Bidirectional(LSTM(20,activation='tanh',kernel_initializer='glorot_uniform',recurrent_dropout = 0.2, dropout = 0.2,return_sequences=True)))

model.add(concatenate([GlobalMaxPooling1D(),AveragePooling1D()]))

model.add(Dropout(0.2))

model.add(Dense(2, activation='softmax'))

print model.summary()

但是我有:ValueError:使用不是符号张量的输入调用层 concatenate_1 这是因为我相信连接层。因为我没有在模型中添加池化。

我可以在同一模型中添加两​​层吗？或者我应该定义两个单独的模型，然后在每个模型中添加池层吗？

Answer 1

这里的技巧是使用图形模型而不是顺序模型。

在我们开始之前，我假设

1. 您的网络需要形状为 (B=batch_size, N=num_of_words) 的 2D 输入张量，其中 N 是训练数据的最长样本长度。 (如果您的样本长度不等，则应使用 keras.preprocessing.sequence.pad_sequences 来实现等长样本)
2. 你的词汇量是 V(如果我没理解错的话，可能是 300)

3. 您的嵌入层将每个单词编码为 F 维度的特征，即您的嵌入层的权重矩阵为 VxF。

   从 keras.layers 导入密集、嵌入、输入、连接、Lambda从 keras.layers.recurrent 导入 LSTM从 keras.layers 导入双向从 keras.models 导入模型从 keras.layers.core 导入 Dropout从 keras 导入后端为 BKN

   从 keras.layers 导入连接，AveragePooling1D，GlobalMaxPooling1D

   单词=输入(形状=(N,))

   f = 嵌入(input_dim=V,output_dim=F)( 单词 )f = 双向(LSTM(20,激活='tanh', kernel_initializer='glorot_uniform', 循环退出= 0.2， 辍学= 0.2，return_sequences = True))(f)gpf = GlobalMaxPooling1D()(f)gpf = Lambda( lambda t : BKN.expand_dims(t, axis=1) )(gpf)apf = AveragePooling1D( pool_size=2 )(f)pf = 连接(轴=1)([gpf, apf])pf = Dropout(0.2)( pf )pred = Dense(2, activate='softmax')(pf) # <-- 确保这是正确的

   模型 = 模型(输入=单词，输出=pred)

最后，我没有发现keras Embedding层支持像weights=[embedding_matrix]这样的语法。