tensorflow-federated - TFF : How split data of each client

Question

为什么在联邦学习任务中，我们不拆分数据集进行训练、测试和验证，我们只进行训练和测试。

Answer 1

如何拆分数据集的选择实际上取决于评估者以及他们想要完成的目标。 TFF 中的预处理数据集(来自 tff.simulation.datasets)通常只分成两部分，但它们可以以任何需要的方式重新加入和再次分割。

需要考虑的一件事:有(至少)两个维度可能对联邦学习进行拆分很有趣。

1. 示例:将单个客户的数据集拆分为训练、测试和验证。这可能被视为最类似于集中式培训制度。大多数 TFF 数据集都使用它。
2. 用户:将用户分成训练、测试和保留用户可能在联邦制度中特别有趣。这可能能够回答全局模型对不可见 用户的泛化效果如何，但可能会受到单个数据集和拆分的非 iid ness 的严重影响。这用于一些 TFF 提供的数据集中。

此外，这两者都可以是基于时间的(如果有时间的概念)，例如将每个客户数据集拆分为“前一天”(训练)和“第二天”(测试)。或者，就像跨设备 FL 的实践中经常出现的情况一样，按一天中的时间划分(用户可以在晚上进行培训，可能与中午不同)，Eichner 2019使用此设置进行了一些实验。

注意:tff.simulation.datasets.stackoverflow.load_data确实有三个拆分名为 train、held_out 和 test。请仔细阅读文档，因为它使用了上述两种类型的拆分。