python - 权重和偏差扫描 Keras K 折验证

Question

我在 Keras 中使用基于云的权重和偏差扫描。因此，首先我在 W&B 项目中创建一个新的 Sweep，其配置如下:

description: LSTM Model
method: random
metric:
  goal: maximize
  name: val_accuracy
name: LSTM-Sweep
parameters:
  batch_size:
    distribution: int_uniform
    max: 128
    min: 32
  epochs:
    distribution: constant
    value: 200
  node_size1:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  node_size2:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  node_size3:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  node_size4:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  node_size5:
    distribution: categorical
    values:
    - 64
    - 128
    - 256
  num_layers:
    distribution: categorical
    values:
    - 1
    - 2
    - 3
  optimizer:
    distribution: categorical
    values:
    - Adam
    - Adamax
    - Adagrad
  path:
    distribution: constant
    value: "./path/to/data/"
program: sweep.py
project: SLR

我的 sweep.py 文件看起来像这样:

# imports
init = wandb.init(project="my-project", reinit=True)
config = wandb.config

def main():
    skfold = StratifiedKFold(n_splits=5, 
    shuffle=True, random_state=7)
    cvscores = []
    group_id = wandb.util.generate_id()
    X,y = # load data
    i = 0
    for train, test in skfold.split(X,y):
        i=i+1
        run = wandb.init(group=group_id, reinit=True, name=group_id+"#"+str(i))
        model = # build model
        model.fit([...], WandBCallback())
        cvscores.append([...])
        wandb.join()

if __name__ == "__main__":
    main()

使用 sweep.py 文件夹中的 wandb agent 命令启动。

我在这个设置中遇到的是，第一次 wandb.init() 调用初始化了一个新的运行。好的，我可以删除它。但是当第二次调用 wandb.init() 时，它似乎忘记了它正在运行的扫描。在线扫描中列出了一个空运行(因为第一次 wandb.init() 调用)，所有其他运行在项目中列出，但不在扫描中。

我的目标是运行 k 折交叉验证的每一折。至少我认为这是这样做的正确方法。是否有不同的方法将扫描与 keras k 折交叉验证相结合？

Answer 1

我们整理了一个如何完成 k 折交叉验证的示例:

https://github.com/wandb/examples/tree/master/examples/wandb-sweeps/sweeps-cross-validation

该解决方案需要对 wandb 库进行一些扭曲，以代表已启动的扫描作业生成多个作业。

基本思路是:

• 代理从云托管参数服务器请求一组新参数。这是主函数中名为 sweep_run 的运行。
• 将关于折叠应该通过多处理队列处理什么的信息发送到等待进程
• 每个生成的进程都记录到它们自己的运行，使用组和作业类型进行组织以在 UI 中启用自动分组
• 流程完成后，它会通过队列将主要指标发送到父扫描运行
• 扫描运行从子运行中读取指标并将其记录到扫描运行中，以便扫描可以使用该结果来影响 future 的参数选择和/或超频带提前终止优化

可以在此处看到扫描和 k 折分组的示例可视化:

• 扫一扫:https://app.wandb.ai/jeffr/examples-sweeps-cross-validation/sweeps/vp0fsvku
• K 折分组:https://app.wandb.ai/jeffr/examples-sweeps-cross-validation/groups/vp0fsvku