python - (ε, δ)-差分隐私准确性/隐私权衡

Question

我使用的是在 PyTorch DNN 中实现的 Renyi (ε, δ)-差分隐私。我这样做是为了保证训练集的隐私程度为 ε。为了实现这一点，我使用 PyTorch-DP .随着网络越来越适合训练集并且准确性提高，隐私量减少。但是，在某个转折点，隐私性降低，准确性也降低；我假设准确度最终会下降，因为太多(隐私)噪声被添加到一批训练数据的剪切梯度的平均值中和/或因为它在训练集上过度拟合。

现在我想要实现的是:我想训练一个模型来达到 (ε, δ)-具有不同 ε 值(即 0.5、1、1.5、2)的差分隐私。请注意，ε 值越大，模型保证的隐私就越少。在理想情况下，精度会随着 ε 的增加而提高。然而这并没有发生，因为在那个转折点之后，准确性会下降。我的问题是，是否有任何方法可以保证/影响这一点，以便在算法达到指定的 ε 时，准确度仍处于接近最佳状态。或者这是否真的不像我想要的那样可控，并且是通过凭经验改变学习率或改变加性剪裁噪声的数量以及时期数来实现这一目标的最佳方式每个时代都会添加更多/更少的隐私，但时间更短/更长。

我真的是在征求意见。

Answer 1

我不知道有什么神奇的方法可以保证隐私处于接近最佳状态。我所做的(并听到其他人所做的)效果相当不错的是使用不同的 epsilon 值进行一些超参数调整以获得该 epsilon 的最佳精度，因此我建议您这样做。另外，作为一个有趣的旁注，有时在很小的程度上，在制作算法 DP 的过程中添加的噪声可以通过帮助防止过度拟合来帮助提高准确性(虽然不确定这是否是您的情况)。