python - 是否有 tensorflow 方法来提取/保存用于标准化的均值和标准差？

Question

我正在使用 data_norm = tf.nn.l2_normalize(data, 0) 对输入训练数据进行标准化。

数据的形状为[None, 4]。每列都是一个特征。它可能看起来像这样:

data = [[-3., 0.2, 1.6, 0.5], 
        [3.6, 1.5, -1.9, 0.71], 
       ...]

我知道，给定训练集中的标准化，测试集也应该标准化，但使用来自的std和mean 训练集。 (我认为这也适用于神经网络的实际使用过程中，即输入应在输入神经网络之前使用训练集 mean、std 进行标准化)。

有没有办法从这个函数中提取/保存用于标准化的mean，std，这样我就可以使用相同的平均值，std来标准化我的测试集用于标准化训练数据？我知道如何使用 saver.save(sess, "checkpoints/"+ save_id) 保存权重等。有没有办法保存/加载 std，像这样？

Answer 1

tf.nn.l2_normalize 使用输入数据的实时平均值，您不能使用此函数来使用训练数据 mean 或 std. l2_normalize_docs

output_l2_normalize = input / sqrt(max(sum(input**2), epsilon))

注意:由于您正在尝试标准化输入数据，因此您可以预先计算全局(训练数据集)mean 和 std 并编写自己的函数来标准化。