python - 当最后一层不是 `softmax` 时(例如集成模型)，如何应用 Cleverhans 攻击？

Question

我正在尝试按照 this paper 中提出的方法攻击 Keras 模型的集合。 。在第 5 节中，他们指出攻击的形式为:

因此，我继续创建预训练 Keras MNIST 模型的集合，如下所示:

def ensemble(models, model_input):

    outputs = [model(model_input) for model in models]
    y = Average()(outputs)

    model = Model(model_input, y, name='ensemble')

    return model

models = [...] # list of pretrained Keras MNIST models

model = ensemble(models, model_input)
model_wrapper = KerasModelWrapper(model)
attack_par = {'eps': 0.3, 'clip_min': 0., 'clip_max': 1.}
attack = FastGradientMethod(model_wrapper, sess=sess)

x = tf.placeholder(tf.float32, shape=(None, img_rows, img_cols,
                                      nchannels))
attack.generate(x, **attack_par) # ERROR!

在最后一行，我收到以下错误:

----------------------------------------------------------
Exception                Traceback (most recent call last)
<ipython-input-23-1d2e22ceb2ed> in <module>
----> 1 attack.generate(x, **attack_par)

~/ri/safechecks/venv/lib/python3.6/site-packages/cleverhans/attacks/fast_gradient_method.py in generate(self, x, **kwargs)
     48     assert self.parse_params(**kwargs)
     49 
---> 50     labels, _nb_classes = self.get_or_guess_labels(x, kwargs)
     51 
     52     return fgm(

~/ri/safechecks/venv/lib/python3.6/site-packages/cleverhans/attacks/attack.py in get_or_guess_labels(self, x, kwargs)
    276       labels = kwargs['y_target']
    277     else:
--> 278       preds = self.model.get_probs(x)
    279       preds_max = reduce_max(preds, 1, keepdims=True)
    280       original_predictions = tf.to_float(tf.equal(preds, preds_max))

~/ri/safechecks/venv/lib/python3.6/site-packages/cleverhans/utils_keras.py in get_probs(self, x)
    188     :return: A symbolic representation of the probs
    189     """
--> 190     name = self._get_softmax_name()
    191 
    192     return self.get_layer(x, name)

~/ri/safechecks/venv/lib/python3.6/site-packages/cleverhans/utils_keras.py in _get_softmax_name(self)
    126         return layer.name
    127 
--> 128     raise Exception("No softmax layers found")
    129 
    130   def _get_abstract_layer_name(self):

Exception: No softmax layers found

似乎要求目标模型的最后一层是softmax层。然而，快速梯度法从技术上讲并不需要将其作为要求。这是 Cleverhans 为了简化库实现而强制执行的吗？有没有办法解决这个问题并使用 Cleverhans 来攻击没有最终 softmax 层的模型？

Answer 1

CleverHans 要求将 logits 传递给攻击的原因是为了数值稳定性(例如，我们不采用指数的对数)。

也就是说，攻击整体是一个合法的用例。我可以想到两个选择:

• 如果您的所有模型都具有可比较的 logit 分布，您可以对 logit 进行平均并将其提供给攻击对象。

• 您可以计算集合中每个 N 模型的对手损失，对所有这些 N 对抗损失进行平均，然后攻击将优化这个平均损失。

第二个选项需要修改现有的 CleverHans API，但如果您想向 GitHub 存储库提交 PR，我很乐意帮助审核。

希望这有帮助。