python - tensorflow 如何从批量输入中获取非零值

Question

第一个索引是None和批处理索引，

在下面的示例中，批量大小为 2(两行)，输入长度为 3

In [12]: ar = [[0,1,2],
    ...: [2,0,3]]

In [13]: mask = tf.greater(ar, 0)
    ...: non_zero_array = tf.boolean_mask(ar, mask)

In [14]: non_zero_array.eval(session=sess)
Out[14]: array([1, 2, 2, 3], dtype=int32)

我想要输出 [[1,2], [2,3]]而不是[1,2,2,3] (它将是 [None, input_length] 的形状)

我正在尝试实现mask_zero我自己的功能，因为一旦我给出 mask_zero=True对于嵌入层，我无法将其馈送到密集层(我正在连接其他张量并展平，然后馈送到密集层， Flatten 不接受 mask_zero )

下面我得到item_average ，平均嵌入为prior_ids ，我想摆脱0值来自prior_ids在不使用 mask_zero=0 获得嵌入之前

 selected = self.item_embedding_layer(prior_ids)
 embedding_sum = tf.reduce_sum(selected, axis=1)
 non_zero_count =  tf.cast(tf.math.count_nonzero(prior_ids, axis=1), tf.float32)
 item_average = embedding_sum / tf.expand_dims(non_zero_count, axis=1)

Answer 1

这是一个可能的实现，它可以删除任意维数张量的最后一个维度中的零:

import tensorflow as tf

def remove_zeros(a):
    a = tf.convert_to_tensor(a)
    # Mask of selected elements
    mask = tf.not_equal(a, 0)
    # Take the first "row" of mask
    row0 = tf.gather_nd(mask, tf.zeros([tf.rank(mask) - 1], dtype=tf.int32))
    # Count number of non-zeros on last axis
    n = tf.math.count_nonzero(row0)
    # Mask elements
    a_masked = tf.boolean_mask(a, mask)
    # Reshape
    result = tf.reshape(a_masked, tf.concat([tf.shape(a)[:-1], [n]], axis=0))
    return result

# Test
with tf.Graph().as_default(), tf.Session() as sess:
    print(sess.run(remove_zeros([[0, 1, 2],
                                 [2, 0, 3]])))
    # [[1 2]
    #  [2 3]]
    print(sess.run(remove_zeros([[[0, 1, 0], [2, 0, 0], [0, 3, 0]],
                                 [[0, 0, 4], [0, 5, 0], [6, 0, 0]]])))
    # [[[1]
    #   [2]
    #   [3]]
    # 
    #  [[4]
    #   [5]
    #   [6]]]