gpt4 book ai didi

python - Keras CuDNNLSTM 隐式激活函数?

转载 作者:行者123 更新时间:2023-12-03 22:30:44 28 4
gpt4 key购买 nike

虽然在 tf.keras.layers.LSTM有一个 activation参数(默认 tanh) CuDNNLSTM没有,而有 activity_regularizer范围。
我错过了什么吗? CuDNNLSTM 不是 tf.keras.layers.LSTM 包装器,而是一个独立的实体,那么如何为其设置激活函数?

最佳答案

CuDNNLSTM 具有硬编码的 tanh 激活。据我所知,没有办法改变这一点。如果您需要一些其他的激活,您将无法使用常规的 LSTM 层。

或者,如果您只需要模型的特定输出激活,例如softmax,你可以粘在一个 Dense 层上,然后在之后放置激活。以下是我如何针对我的特定情况执行此操作的片段:

x = CuDNNLSTM(256, return_sequences=True)(x)
x = TimeDistributed(Dense(8))(x)
x = Softmax(axis=2)(x)

进一步阅读:
  • https://github.com/keras-team/keras/issues/8510
  • https://devblogs.nvidia.com/optimizing-recurrent-neural-networks-cudnn-5/
  • 关于python - Keras CuDNNLSTM 隐式激活函数?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55514435/

    28 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com