gpt4 book ai didi

python - 如何从头开始训练 gpt 2?

转载 作者:行者123 更新时间:2023-11-30 08:34:34 26 4
gpt4 key购买 nike

我想从头开始训练 gpt 2,但我发现的文章中只有基于预训练模型的微调方法。我用过这个https://github.com/nshepperd/gpt-2适用于现有车型的列车。我应该编辑这些 Python 脚本来从头开始训练吗?

最佳答案

我在这个存储库的“问题”中找到了答案 https://github.com/nshepperd/gpt-2

If you want to not use the released model at all, for instance because you want to train a model with incompatible hyperparameters, it should be sufficient to just skip the restore from the released model checkpoint (around train.py:164-177) on your first run so the parameters will all be randomly initialized.

关于python - 如何从头开始训练 gpt 2?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59327637/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com