python - 如何在 python 中为 tf.layers.dense 使用现有权重(以 ndarray 格式)？

Question

我想使用 ndarray 格式的现有矩阵作为初始权重，通过使用 tensorflow.layers.dense 创建一个完全连接的层.我不知道该怎么做。谁能帮忙？理想情况下，我想执行以下操作:

weight = np.array([1,2,3],[1,2,3]) # as example
fully_connected = tf.layers.dense(input, hidden_unit, initializer = weight)

但我不确定是否可以直接这样做。

Answer 1

您需要指定一个自定义内核初始化器。 tf.layers.dense 的文档不要做太多的解释，但至少要表明你有这个选择。您可以使用:

init = np.array([[1, 2, 3], [4, 5, 6]])
x = tf.placeholder(tf.float32, shape=[1, 2])
fc = tf.layers.dense(x, 3, kernel_initializer=tf.constant_initializer(init, dtype=tf.float32))

并确保它有效:

with tf.Session() as sess:
    for v in vars:
        print('{}\n{}'.format(v.name, sess.run(v)))

# dense_7/kernel:0
# [[ 1.  2.  3.]
#  [ 4.  5.  6.]]
# dense_7/bias:0
# [ 0.  0.  0.]

tf.constant_initializer 的文档.

请注意，您必须向指定输入形状的 tf.layers.dense 提供输入张量，即上面的 x，并且您必须提供一个第二个参数告诉它输出的维度；上面的 3。 x 的形状和输出的维数将取决于您的问题以及您的权重矩阵需要采用的形状。