python - tf 和 tf.keras 密集层在我的设置中显示出完全不同的行为

Question

在使用tensorflow 1.14时，我注意到使用tf.layers.Dense与tf.keras.layers.Dense时出现一些非常奇怪的行为。 Stackoverflow 上的人说这两层是完全相同的，我基本上同意，但是在训练 AC 代理时查看折扣奖励会得到下图:

参数完全相同。重复运行会得到相同的结果(参见图像中不同颜色的数据)。据我理解的代码，密集层之一继承自另一层:tf.keras.layers.core和 tf.layers.core .

有谁能解释一下这种行为吗？

Answer 1

根据对 similar issue on the stable_baseline repository 的回复，看来keras不支持多个代理之间共享权重。因此，当使用多个实例训练 Actor -评论家网络时，每个环境都有自己的网络，这会导致完全不同的结果。解决方法是仅直接使用支持相同权重重用的 tensorflow 层。