tensorflow - 如何将中间卷积层的结果存储在 tensorflow 中以供以后处理？

Question

下图描述了应用 CNN 单个中间过滤层的最大池化层之前的输出。我想存储强度为 4 的像素的坐标(位于箭头左侧矩阵的右下角)，因为它位于箭头左侧的矩阵中。也就是说，右侧矩阵中坐标 (4,4)(基于 1 的索引)处的像素是存储在右侧箭头右侧矩阵右下单元格中的像素。现在我要做的就是存储这个坐标值 (4,4) 以及其他像素的坐标 {(2,2) 表示强度为 6 的像素，(2, 4) 表示强度为像素8 和 (3, 1) 对于强度为 3} 的像素作为列表供以后处理。我如何在 Tensorflow 中做到这一点。

最大池化使用尺寸为 2 x 2 且步长为 2 的过滤器完成

Answer 1

您可以使用tf.nn.max_pool_with_argmax (link)。注意:

The indices in argmax are flattened, so that a maximum value at position [b, y, x, c] becomes flattened index ((b * height + y) * width + x) * channels + c.

我们需要进行一些处理以使其适合您的坐标。一个例子:

import tensorflow as tf
import numpy as np

def max_pool_with_argmax(net,filter_h,filter_w,stride):
    output, mask = tf.nn.max_pool_with_argmax( net,ksize=[1, filter_h, filter_w, 1],
                                            strides=[1, stride, stride, 1],padding='SAME')

    # If your ksize looks like [1, stride, stride, 1]
    loc_x = mask // net.shape[2]
    loc_y = mask % net.shape[2]
    loc = tf.concat([loc_x+1,loc_y+1],axis=-1) #count from 0 so add 1

    # If your ksize is all changing, use the following
    # c = tf.mod(mask,net.shape[3])
    # remain = tf.cast(tf.divide(tf.subtract(mask,c),net.shape[3]),tf.int64)
    # x = tf.mod(remain,net.shape[2])
    # remain = tf.cast(tf.divide(tf.subtract(remain,x),net.shape[2]),tf.int64)
    # y = tf.mod(remain,net.shape[1])
    # remain = tf.cast(tf.divide(tf.subtract(remain, y), net.shape[1]),tf.int64)
    # b = tf.mod(remain, net.shape[0])
    # loc = tf.concat([y+1,x+1], axis=-1)
    return output,loc

input = tf.Variable(np.random.rand(1, 6, 4, 1), dtype=np.float32)
output, mask = max_pool_with_argmax(input,2,2,2)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    input_value,output_value,mask_value = sess.run([input,output,mask])
    print(input_value[0,:,:,0])
    print(output_value[0,:,:,0])
    print(mask_value[0,:,:,:])

#print
[[0.20101677 0.09207255 0.32177696 0.34424785]
 [0.4116488  0.5965447  0.20575707 0.63288754]
 [0.3145412  0.16090539 0.59698933 0.709239  ]
 [0.00252096 0.18027237 0.11163216 0.40613824]
 [0.4027637  0.1995668  0.7462126  0.68812144]
 [0.8993007  0.55828506 0.5263306  0.09376772]]
[[0.5965447  0.63288754]
 [0.3145412  0.709239  ]
 [0.8993007  0.7462126 ]]
[[[2 2]
  [2 4]]

 [[3 1]
  [3 4]]

 [[6 1]
  [5 3]]]

您可以看到强度为 0.5965447 的像素为 (2,2)，强度为 0.63288754 的像素为 (2, 4)，依此类推。