python - Keras:两个同时层，其中一个对前一层的输出进行卷积

Question

我正在尝试实现此类模型的连接:

输入图像1 -> 卷积层1

输入图像 2 -> 层，输入的每个像素仅连接到一个权重，即 1:1 对应 -> 卷积层 2

之后，这两层将遵循标准 CNN 的结构，但我很难实现两个同时层，其中一个层只是简单地获取输入并学习处理每个像素的程度，而不查看邻居。

第二个输入图像应遵循类似的内容:

我知道这不是标准的，但是有没有办法在 Keras(或 Tensorflow)中实现这一点？

如有任何指导，我们将不胜感激。

Answer 1

我认为这就是您正在寻找的:

https://keras.io/layers/local/

基本上:

The LocallyConnected1D layer works similarly to the Conv1D layer, except that weights are unshared, that is, a different set of filters is applied at each different patch of the input.

在这种情况下，您希望使用内核大小为 (1,1) 的这一层来为图像的一个像素仅分配一个权重值。