gpt4 book ai didi

git - 机器学习模型的版本控制(约250 MB)

转载 作者:行者123 更新时间:2023-11-30 08:51:38 25 4
gpt4 key购买 nike

我们的机器学习模型生成大小约为 250MB 的模型。

将其存储在版本控制中是个好习惯吗?

我正在考虑存储在 HDFS 中并在 NAS 中进行异地备份。

我还尝试将其打包为RPM,然后将RPM部署到HDFS上。但是创建 rpm 、推送到 nexus 所花费的时间是个小问题。

这方面的最佳实践是什么?

谢谢

最佳答案

如果你的模型文件可以通过 git 中的代码和源代码确定性地重现,那么它不应该放入 git 中。传统上,您将生成工件所需的所有源(二进制文件、可执行文件等)放入 git 中。现在,如果您无法复制该文件(或者复制它的成本太高)并且希望将其保留在源代码树中,则可能需要查看 git-annex ( https://git-annex.branchable.com/ )。

关于git - 机器学习模型的版本控制(约250 MB),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32881274/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com