classification - 将多个模型的输出合并为一个模型

Question

我目前正在寻找一种可以将多个模型的输出组合成一个模型的方法，我需要创建一个进行分类的 CNN 网络。



图像被分成多个部分(如颜色所见)，每个部分作为输入给某个模型(1,2,3,4)每个模型的结构是相同的，但每个部分被赋予一个单独的模型以确保不会在整个图像上应用相同的权重 - 我试图避免完全权重共享，并将权重共享保持在本地。然后每个模型执行卷积和最大池化，并生成某种输出，该输出必须馈送到一个密集层，该层从先前模型(模型 1、2、3、4)中获取输出并执行分类。

我的问题是，是否可以创建模型 1、2、3、4 并将其连接到全连接层，并在给定输入部分和输出类的情况下训练所有模型 - 无需定义卷积和池化的输出在keras层？

Answer 1

是的，您可以使用多输入和多输出模型创建此类模型，请参阅 keras documentation更多细节。在这里我分享代码示例，希望这有帮助

import numpy as np
import keras
from keras.optimizers import SGD
from keras.models import Sequential, Model
from keras.layers import Activation, Dense, Dropout, Flatten, Input, Merge, Convolution2D, MaxPooling2D

# Generate dummy data
train1 = np.random.random((100, 100, 100, 3))
train2 = np.random.random((100, 100, 100, 3))
train3 = np.random.random((100, 100, 100, 3))
train4 = np.random.random((100, 100, 100, 3))

y_train = keras.utils.to_categorical(np.random.randint(10, size=(100, 1)), num_classes=10)

#parallel ip for different sections of image
inp1 = Input(shape=train1.shape[1:])
inp2 = Input(shape=train2.shape[1:])
inp3 = Input(shape=train3.shape[1:])
inp4 = Input(shape=train4.shape[1:])

# paralle conv and pool layer which process each section of input independently
conv1 = Conv2D(64, (3, 3), activation='relu')(inp1)
conv2 = Conv2D(64, (3, 3), activation='relu')(inp2)
conv3 = Conv2D(64, (3, 3), activation='relu')(inp3)
conv4 = Conv2D(64, (3, 3), activation='relu')(inp4)

maxp1 = MaxPooling2D((3, 3))(conv1)
maxp2 =MaxPooling2D((3, 3))(conv2)
maxp3 =MaxPooling2D((3, 3))(conv3)
maxp4 =MaxPooling2D((3, 3))(conv4)

# can add multiple parallel conv, pool layes to reduce size

flt1 = Flatten()(maxp1)
flt2 = Flatten()(maxp2)
flt3 = Flatten()(maxp3)
flt4 = Flatten()(maxp4)

mrg = Merge(mode='concat')([flt1,flt2,flt3,flt4])

dense = Dense(256, activation='relu')(mrg)

op = Dense(10, activation='softmax')(dense)

model = Model(input=[inp1, inp2, inp3, inp4], output=op)
model.compile(optimizer='rmsprop',
              loss='categorical_crossentropy',
              metrics=['accuracy'])
model.fit([train1,train2,train3,train4], y_train,
          nb_epoch=10, batch_size=28)