gpt4 book ai didi

docker - 在前台运行 Goofys 是防止传输端点断开连接的唯一方法

转载 作者:行者123 更新时间:2023-12-04 19:29:48 25 4
gpt4 key购买 nike

我正在将带有 goofys( fuse )的 Google Cloud Storage 存储桶安装到我的 docker 容器并运行深度学习培训。
训练数据是约 10k 个数据点,测试约 600 个数据点。在模型拟合和测试之间,我将模型同步到存储桶中,因为存储桶不支持直接写入 HDF5 格式,但这是另一回事。
在后台运行 goofys 时,应用程序在尝试访问测试数据时崩溃。因此,它可以很好地处理所有训练数据并将模型复制到存储桶中。当测试开始时,我看到了输出:

Transport endpoint is not connected
我正在使用以下命令进行安装(对于后台安装,前台具有 -f 标志):
goofys -o allow_other --profile <profilename> --stat-cache-ttl 10s --type-cache-ttl 10s --endpoint <endpnt> --dir-mode 0777 --file-mode 0777 <source_bucket> /mnt/<src_dir>
如果我将存储桶安装在前台,则应用程序将完整运行。
我不明白为什么它会在前台工作,但不能在后台工作。当数据吞吐量非常高时,守护程序与 goofys 应用程序之间有什么区别?
高飞版本:高飞版本 0.24.0-45b8d78375af1b24604439d2e60c567654bcdf88

最佳答案

解决这个问题的方法是用 GCSFuse 替换 goofys。尽管 goofys 的高性能津贴, GCSFuse在保持铲斗安装方面表现出更高的可靠性。

关于docker - 在前台运行 Goofys 是防止传输端点断开连接的唯一方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67746609/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com