grid-search - 网格搜索适用于 TFF 和 FL。？

Question

我目前正在研究 TFF 和图像分类(图像分类联合学习)emnist。

我正在查看模型学习率和优化器的超参数。网格搜索在这里是一个好方法吗？ .在现实世界的场景中，您是否会简单地从整个域中对客户端/设备进行采样，如果是这样，如果我要进行网格搜索，我是否必须首先修复我的客户端示例。在这种情况下，进行网格搜索是否有意义。

选择参数的典型现实世界方式是什么，即这更像是一种启发式方法。 ?

科林。 . .

Answer 1

我认为联邦学习在这些领域仍然有很多开放的研究。
第 6 页，共 https://arxiv.org/abs/1912.04977描述了用于联邦学习的跨设备和跨筒仓设置。
在跨设备设置中，人口通常非常大(数十万或数百万)，并且在整个训练过程中通常只看到参与者一次。在此设置中，https://arxiv.org/abs/2003.00295表明诸如客户端学习率之类的超参数在确定模型收敛速度和最终模型准确性方面发挥着巨大的作用。为了证明这一发现，我们首先执行了一个大的粗网格搜索来识别有希望的超参数空间，然后在有希望的区域中运行更精细的网格。然而，这可能会很昂贵，具体取决于可用于模拟的计算资源，必须运行训练过程直至完成以了解这些影响。
可以将联邦学习视为非常大的小批量 SGD。事实上FedSGD算法在https://arxiv.org/abs/1602.05629正是这个。在这种情况下，重用集中模型训练中的理论可能会很有成效。
最后https://arxiv.org/abs/1902.01046描述了 Google 用于联邦学习的系统，并且对超参数探索进行了小型讨论。