machine-learning - 如何在tensorflow train API中使用我自己的激活函数？

Question

我可以定义自己的激活函数并在 TensorFlow Train API 中使用它吗？即具有预定义估计器(例如 DNNClassifier)的高级 API？

例如，我想使用此代码，但将激活函数 tf.nn.tanh 替换为我自己的代码:

tf.estimator.DNNClassifier(
  feature_columns=feature_columns,
  hidden_units=[5,10,5
  n_classes=3, 
  optimizer=tf.train.ProximalAdagradOptimizer(learning_rate=0.01,
                                              l1_regularization_strength=0.0001),
  activation_fn=tf.nn.tanh)

Answer 1

如果您的自定义函数可以用内置 tensorflow 操作来表示，那么它就相当简单了。例如:

DNNClassifier(feature_columns=feature_columns,
              ...,
              activation_fn=lambda x: 2*tf.nn.tanh(x)+3*tf.nn.relu(x)+1)

一般来说，activation_fn 可以是一个接受任意形状张量的可调用函数(因为它将在每层之后应用)。 Tensorflow 将能够毫无问题地通过此表达式进行反向传播。

但是，如果您想要一个全新的自定义操作，无法通过现有操作来表达，则必须手动注册它并计算其梯度。请参阅this question了解详情。