python - 如何验证keras模型中的神经网络结构？

Question

我是 Keras 和神经网络的新手。我正在写论文并尝试在 Keras 中创建一个 SimpleRNN，如下所示:

如图所示，我需要创建一个具有 4 个输入 + 2 个输出且隐藏层中具有任意数量神经元的模型。

这是我的代码:

model = Sequential()

model.add(SimpleRNN(4, input_shape=(1, 4), activation='sigmoid', return_sequences=True))
model.add(Dense(2))
model.compile(loss='mean_absolute_error', optimizer='adam')
model.fit(data, target, epochs=5000, batch_size=1, verbose=2)

predict = model.predict(data)

1) 我的模型是否实现了图形？
2) 是否可以指定神经元输入层和隐藏层或输出层和输入层之间的连接？

解释:

我将使用反向传播来训练我的网络。我有输入值和目标值

输入是一个 10*4 数组，目标是一个 10*2 数组，然后我对其进行整形:

input = input.reshape((10, 1, 4))
target = target.reshape((10, 1, 2))

能够指定神经元之间的连接至关重要，因为它们可以不同。例如，这里你可以举个例子:

Answer 1

1) 不是真的。但我不确定你到底想在那个图表中看到什么。 (下面让我们看看 Keras 循环层是如何工作的)

2) 是的，可以将每一层连接到每一层，但是你不能为此使用 Sequential，你必须使用 Model。

这个答案可能不是您要找的。你到底想达到什么目的？你有什么样的数据，你期望什么样的输出，模型应该做什么？等等……

---

1 - 循环层如何工作？

Documentation

keras 中的循环层使用“输入序列” 并可能输出单个结果或序列结果。它的循环完全包含在其中，不与其他层交互。

您应该具有形状为 (NumberOrExamples, TimeStepsInSequence, DimensionOfEachStep) 的输入。这意味着 input_shape=(TimeSteps,Dimension)。

循环层将在每个时间步内部工作。循环是一步一步发生的，这种行为是完全不可见的。该层似乎与任何其他层一样工作。

这似乎不是你想要的。除非你有一个“序列”来输入。我知道是否在 Keras 中使用类似于您的图表的循环层的唯一方法是当您有一段序列并想要预测下一步时。如果是这样，请参阅一些 examples通过在 Google 中搜索“预测下一个元素”。

2 - 如何使用模型连接层:

与其将层添加到顺序模型(始终遵循直线)，不如从输入张量开始独立使用层:

from keras.layers import *
from keras.models import Model

inputTensor = Input(shapeOfYourInput) #it seems the shape is "(2,)", but we must see your data.    

#A dense layer with 2 outputs:
myDense = Dense(2, activation=ItsAGoodIdeaToUseAnActivation)


#The output tensor of that layer when you give it the input:
denseOut1 = myDense(inputTensor)

#You can do as many cycles as you want here:
denseOut2 = myDense(denseOut1)

#you can even make a loop:
denseOut = Activation(ItsAGoodIdeaToUseAnActivation)(inputTensor) #you may create a layer and call it with the input tensor in just one line if you're not going to reuse the layer
    #I'm applying this activation layer here because since we defined an activation for the dense layer and we're going to cycle it, it's not going to behave very well receiving huge values in the first pass and small values the next passes....
for i in range(n):
    denseOut = myDense(denseOut)

这种用法允许您创建任何类型的模型，包括分支、替代方式、从任何地方到任何地方的连接，前提是您遵守形状规则。对于这样的循环，输入和输出必须具有相同的形状。

最后，您必须定义一个从一个或多个输入到一个或多个输出的模型(您必须有训练数据来匹配您选择的所有输入和输出):

model = Model(inputTensor,denseOut)

但请注意，此模型是静态的。如果您想更改循环次数，则必须创建一个新模型。

在这种情况下，就像重复循环步骤 denseOut = myDense(denseOut) 并创建另一个 model2=Model(inputTensor,denseOut) 一样简单。

---

3 - 尝试创建类似下图的内容:

我假设 C 和 F 将参与所有迭代。如果没有，

因为有四个实际输入，我们将分别处理它们，所以让我们创建 4 个输入，都像 (1,)。您的输入数组应分为 4 个数组，均为 (10,1)。

from keras.models import Model
from keras.layers import *

inputA = Input((1,))
inputB = Input((1,))
inputC = Input((1,))
inputF = Input((1,))

现在 N2 和 N3 层将只使用一次，因为 C 和 F 是常量:

outN2 = Dense(1)(inputC)
outN3 = Dense(1)(inputF)

现在循环层 N1，还没有给它张量:

layN1 = Dense(1)

对于循环，让我们创建 outA 和 outB。它们作为实际输入开始，并将提供给 N1 层，但在循环中它们将被替换

outA = inputA   
outB = inputB

现在进入循环，让我们进行“传递”:

for i in range(n):
    #unite A and B in one 
    inputAB = Concatenate()([outA,outB])

    #pass through N1
    outN1 = layN1(inputAB)

    #sum results of N1 and N2 into A
    outA = Add()([outN1,outN2])

    #this is constant for all the passes except the first
    outB = outN3 #looks like B is never changing in your image.... 

现在模型:

finalOut = Concatenate()([outA,outB])
model = Model([inputA,inputB,inputC,inputF], finalOut)