gpt4 book ai didi

amazon-web-services - 完成所有工作后同步所有 worker

转载 作者:行者123 更新时间:2023-12-02 12:15:10 25 4
gpt4 key购买 nike

我有一个kubernetes集群,该集群处理一系列创建结果文件的作业。我想在完成所有作业后将这些结果同步到S3文件夹。是否有一种方法可以在所有作业都完成之后再调度S3同步,然后关闭集群中的所有实例?

最佳答案

我可以想到两种将结果文件放入s3的方法。

  • 让您的作业程序(代码)通过使用Amazon SDK将结果放入s3。 https://aws.amazon.com/tools/您可以按此处所述授予Pod访问s3的权限。https://stackoverflow.com/a/57668823/3514300
  • 让您的作业写入本地,并使用EFS(https://github.com/kubernetes-incubator/external-storage/tree/master/aws/efs)在Kubernetes中创建ReadWriteMany类型的PV,并在完成每个作业后将文件从EFS复制到s3。
  • 关于amazon-web-services - 完成所有工作后同步所有 worker ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57732669/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com