python - 有没有办法使用 TRAINS python 包创建一个比较超参数与模型精度的图表？

Question

我想运行多个实验，然后报告每个实验的模型准确性。

我正在使用 pytorch (v1.1.0) 训练一个玩具 MNIST 示例，但目标是，一旦我可以比较玩具问题的性能，请将其与实际代码库集成。

据我了解 TRAINS python 包，通过“两行代码”，我的所有超参数都已记录(在我的情况下为命令行 argparse)。

我需要做什么才能报告最终标量，然后能够对所有不同的训练实验(带超参数)进行排序，以找到最好的一个。

我想要得到的是一个图表，其中 X 轴上有超参数值，Y 轴上有验证准确性。

Answer 1

我假设您指的是:https://pypi.org/project/trains/ (https://github.com/allegroai/trains)，我是维护者之一。

您可以手动创建一个图，其中单点 X 轴表示超参数值，Y 轴表示精度。

number_layers = 10
accuracy = 0.95
Task.current_task().get_logger().report_scatter2d(
    "performance", "accuracy", iteration=0, 
    mode='markers', scatter=[(number_layers, accuracy)])

假设您的超参数为“number_layers”，当前值为 10，训练模型的准确度为 0.95。

然后，当您比较实验时，您会得到类似的结果: