python - 警告 :tensorflow:The default stddev value of initializer will change from "1/sqrt(vocab_size)" to "1/sqrt(dimension)" after 2017/02/25

Question

我在设置深度模型时收到此警告消息。

警告消息

WARNING:tensorflow:The default stddev value of initializer will change from "1/sqrt(vocab_size)" to "1/sqrt(dimension)" after 2017/02/25.

我的代码

deep_columns = [
  tf.contrib.layers.embedding_column(workclass, dimension=8),
  tf.contrib.layers.embedding_column(education, dimension=8),
  tf.contrib.layers.embedding_column(gender, dimension=8),
  tf.contrib.layers.embedding_column(relationship, dimension=8),
  tf.contrib.layers.embedding_column(native_country, dimension=8),
  tf.contrib.layers.embedding_column(occupation, dimension=8),
  age, education_num, capital_gain, capital_loss, hours_per_week
]

Answer 1

如果你没有明确give an initializer function对于embedding_columns，tensorflow将使用默认的初始化器，这是一个以0均值和1/sqrt(vocab_size)标准差作为代码的正态分布如下:

if initializer is None:
      ...
      stddev = 1 / math.sqrt(sparse_id_column.length)
      initializer = init_ops.truncated_normal_initializer(
          mean=0.0, stddev=stddev)

这只是一个警告，默认的初始化函数将在不久的将来略有改变(尽管看起来他们在截止日期上有点晚了)。没什么重要的，不应该影响你的工作(可能需要或多或少的时间来收敛，但差异应该是不明显的)。

如果警告打扰您，您可以给 initializer function explicitly创建嵌入列时，或者您可以通过仅将详细程度设置为错误来忽略警告。 tf.logging.set_verbosity(tf.logging.ERROR)