python - 无法加载具有自定义约束的 keras 模型

Question

我为我的 keras GRU-NN 创建了一个自定义约束，并能够用它来训练我的网络。约束如下所示:

import keras.backend as K
from keras.constraints import Constraint

class WeightClip(Constraint):
    def __init__(self, mn=0.1, mx=1.0):
        self.mn = mn
        self.mx = mx

    def __call__(self, p):
        return K.clip(p, self.mn, self.mx)

    def get_config(self):
        return {
            'name': self.__class__.__name__,
            'minimum': self.mn, 
            'maximum': self.mx
        }

保存模型并尝试使用

重新加载后

model = keras.models.load_model(modelFile, custom_objects={'WeightClip': WeightClip})

我收到此错误消息:

TypeError: __init__() got an unexpected keyword argument 'name'

模型本身看起来像:

model = Sequential()
model.add(GRU(
    params.recurrent_units, 
    activation='linear',
    input_shape=(pr.n_features, pr.feature_size), 
    dropout=params.dropout, name='net',
    kernel_constraint=WeightClip(0.1, 1.0),
    bias_constraint=WeightClip(0.1, 1.0)
))
model.add(Dense(
    1, 
    activation='sigmoid', 
    kernel_constraint=WeightClip(0.1, 1.0),
    bias_constraint=WeightClip(0.1, 1.0)
))

引用 stackoverflow 上的其他类似问题(大多数情况下与自定义指标相关)，我尝试了 custom_objects 参数的不同组合，但似乎没有任何帮助。感谢您的帮助!

Answer 1

幕后发生的事情

当您在 keras 中保存包含 custom_object 的模型时，它将保存对类名的引用，以及包含对象当前配置的字典。它通过调用自定义对象实例的 .get_config() 方法来实现此目的。因此，此方法应返回一个字典，其中包含重新创建实例所需的所有内容。

调用 keras.models.load() 后，keras 将加载您的模型并使用保存的字典创建自定义对象的实例。让我们暂时假设old_object_configuration = Weight_clip_instance.get_config()。 keras 现在将使用 new_weight_clip_instance = WeightClip(**old_object_configuration) 构建一个新实例。当您在 .get_config() 方法中返回参数 name 时，但 WeightClip.__init__() 的签名中没有 name 参数将引发您看到的错误。

返回空字典会影响您的模型吗？

利用上面的知识，我们现在可以预测如果您的 .get_config() 方法返回空字典会发生什么。这会导致调用 new_weight_clip_instance = WeightClip({})。新实例将具有 mn=0.1 和 mx=1.0 的默认值，这不是所需的行为，并且会导致很难发现错误。

一个工作示例

import keras
import keras.backend as K
from keras import Sequential
from keras.constraints import Constraint
from keras.layers import GRU, Dense


RECURRENT_UNITS = 10
N_FEATURES = 10
FEATURE_SIZE = 50
DROPOUT = 0.5


class WeightClip(Constraint):
    def __init__(self, minimum=0.1, maximum=1.0):
        self.minimum = minimum
        self.maximum = maximum

    def __call__(self, p):
        return K.clip(p, self.minimum, self.maximum)

    def get_config(self):
        return {
            'minimum': self.minimum,
            'maximum': self.maximum
        }


model = Sequential()
model.add(GRU(
    RECURRENT_UNITS,
    activation='linear',
    input_shape=(N_FEATURES, FEATURE_SIZE),
    dropout=DROPOUT,
    name='net',
    kernel_constraint=WeightClip(0.1, 1.0),
    bias_constraint=WeightClip(0.1, 1.0)
))
model.add(Dense(
    1,
    activation='sigmoid',
    kernel_constraint=WeightClip(0.1, 1.0),
    bias_constraint=WeightClip(0.1, 1.0)
))
model.save('mymodel')

model = keras.models.load_model('mymodel', custom_objects={'WeightClip': WeightClip})