python - 在 MinIO 存储上安装 DVC

Question

有人在 MinIO 存储上安装 DVC 吗？
我已阅读 docs但对我来说并不是很清楚。
我应该使用哪个命令来设置带有此入口参数的 MinIO 存储:
存储地址:https://minio.mysite.com/minio/bucket-name/
登录:my_login
密码:my_password

Answer 1

安装
我通常将它用作 Python 包，在这种情况下您需要安装:

pip install "dvc[s3]"

设置远程
默认情况下，DVC 支持 AWS S3 存储并且它们工作正常。
它们还支持“S3 兼容存储”，但正确描述了此类 Remote 的设置。在 MinIO 的特殊情况下，您有 桶 - MinIO 服务器上存储实际数据的目录(类似于 AWS 存储桶)，但 DVC 使用 AWS CLI 进行身份验证。在 MinIO 的情况下，您需要明确地传递它们。
然后按照命令设置您的 DVC Remote :

# setup default remote (change "bucket-name" to your minio backet name)
dvc remote add -d minio s3://bucket-name -f

# add information about storage url (where "https://minio.mysite.com" your url)
dvc remote modify minio endpointurl https://minio.mysite.com

#  add info about login and password
dvc remote modify minio access_key_id my_login
dvc remote modify minio secret_access_key my_password

如果您从旧的远程搬家 , 使用以下命令移动您的数据:
设置之前(将所有旧的远程缓存下载到本地机器):

dvc pull -r <old_remote_name> --all-commits --all-tags --all-branches

设置后(将所有缓存上传到新的 Remote ):

dvc push -r <new_remote_name> --all-commits --all-tags --all-branches