machine-learning - 使用 Cleverhans 进行对抗性攻击后提取原始图像格式

Question

假设我使用 Cleverhans 加载 MNIST 数据集并使用 FGM 攻击图像。我通过 Cleverhans MNIST 数据集加载的任何图像的像素值都已限制为 [0, 1]，在我攻击图像后也是如此(假设我将图像剪辑为 [0, 1])。如果我想看到这种情况下的攻击，我只需将所有像素值乘以 255 并创建对抗性图像。

在这种情况下，通过将所有值除以 255，将像素值在 [0, 255] 中的原始 MNIST 图像修改为具有 [0, 1] 中的像素值。为了取回原始“图像”属性”我只是再次乘以 255。

当这个预处理步骤(在 MNIST 的情况下，除以 255)更复杂时，有没有办法(在 Cleverhans 中或一般情况下)提取原始图像属性？例如，我想到的是 VGG16，其中 ImageNet 图像在调整大小的同时保留其纵横比，而将图像恢复到原始大小的过程很复杂，并且每个图像都是唯一的。

是否可以将这个预处理步骤添加为模型中的一个步骤，以直接获取原始图像上的噪声？我想情况可能并非如此，因为并非所有预处理步骤都是可微分的？

这是否意味着如果预处理步骤过于复杂，我将无法查看应用于原始图像的噪声？

Answer 1

这是正确的，如果您的管道使用的预处理阶段是:

• 反演困难:根据(a)原始图像和(b)预处理空间中的扰动，很难获得与原始域中的扰动图像对应的图像。

• 不可微分:需要梯度来计算原始域中的扰动图像的攻击是不可能的。

但是，您可以使用不直接计算梯度的攻击(例如 SPSA)直接在原始域中操作，即使预处理阶段是不可微分的:https://github.com/tensorflow/cleverhans/blob/master/cleverhans/attacks/spsa.py