gpt4 book ai didi

linux - Kubernetes 在容器中隐式使用 Nvidia 文件

转载 作者:太空宇宙 更新时间:2023-11-04 05:45:54 25 4
gpt4 key购买 nike

我有一个 docker 镜像,我想将其部署在 Kubernetes 中。该镜像基于 nvidia/cuda:10.0-base。入口点的一个命令是rm -r/usr(是的,这个命令会引起问题,但它是必要的)。

当我在 docker 上运行容器时,它运行得很好。我确信入口点已正确且完整地执行。但是当我尝试在 k8s 上部署此镜像时,容器崩溃并出现以下错误:

rm: cannot remove '/usr/bin/nvidia-smi': Device or resource busy
rm: cannot remove '/usr/bin/nvidia-persistenced': Device or resource busy
rm: cannot remove '/usr/bin/nvidia-cuda-mps-server': Device or resource busy
rm: cannot remove '/usr/bin/nvidia-cuda-mps-control': Device or resource busy
rm: cannot remove '/usr/bin/nvidia-debugdump': Device or resource busy
rm: cannot remove '/usr/lib/x86_64-linux-gnu/libnvidia-fatbinaryloader.so.430.26': Device or resource busy
rm: cannot remove '/usr/lib/x86_64-linux-gnu/libnvidia-compiler.so.430.26': Device or resource busy
rm: cannot remove '/usr/lib/x86_64-linux-gnu/libnvidia-ptxjitcompiler.so.410.104': Device or resource busy
rm: cannot remove '/usr/lib/x86_64-linux-gnu/libnvidia-ptxjitcompiler.so.430.26': Device or resource busy
rm: cannot remove '/usr/lib/x86_64-linux-gnu/libnvidia-opencl.so.430.26': Device or resource busy
rm: cannot remove '/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.430.26': Device or resource busy
rm: cannot remove '/usr/lib/x86_64-linux-gnu/libnvidia-fatbinaryloader.so.410.104': Device or resource busy
rm: cannot remove '/usr/lib/x86_64-linux-gnu/libcuda.so.410.104': Device or resource busy
rm: cannot remove '/usr/lib/x86_64-linux-gnu/libnvidia-cfg.so.430.26': Device or resource busy
rm: cannot remove '/usr/lib/x86_64-linux-gnu/libcuda.so.430.26': Device or resource busy

我成功地使用不同的入口点部署了这个容器,并使用 kubectl exec -it 进入了这个容器的 shell。例如,当我尝试删除 /usr/bin/nvidia-smi 时,会引发相同的 设备或资源繁忙 错误。

toplsof 均不显示使用 /usr/bin/nvidia-smi 或上面列出的任何其他文件的进程。

顶部输出:

      1 root      20   0    4636    848    768 S   0.0  0.0   0:00.05 sh                                                                                                                                                                                                                  
19 root 20 0 72304 5860 5096 S 0.0 0.0 0:00.00 sshd
25 root 20 0 21540 4056 3456 S 0.0 0.0 0:00.09 bash
447 root 20 0 39512 3740 3196 R 0.0 0.0 0:00.00 top

k8s 如何影响容器的工作?

最佳答案

答案:

列出的繁忙文件已由 Kubernetes 添加到容器中。

关于linux - Kubernetes 在容器中隐式使用 Nvidia 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58949861/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com