gpt4 book ai didi

google-kubernetes-engine - 从 Dataproc 访问 Google Cloud Kubernetes 服务

转载 作者:行者123 更新时间:2023-12-04 11:36:20 24 4
gpt4 key购买 nike

我有一个收集模型的 Kubernetes 服务。构建这些模型的系统是 Python Dataproc 作业。

-> 我需要一种方法将 Dataproc 作业的结果推送到模型收集服务。

问题 :如何从 Dataproc 内部访问 Kubernetes 集群中的服务,我有哪些选择?

我需要入口 Controller 吗?是否可以从 Dataproc 内部访问 Kubernetes 网络(包括 DNS)?通过 gcloud 是否可以选择这样做? (转发,但这在 Python 中似乎并不优雅)?

最佳答案

Dataproc 和 GKE 节点都是 GCE VM,默认可以访问同一个 VPC network 中的服务通过内部 IP、内部 DNS 或主机名。但不幸的是,Pod 运行在 VPC 网络之上的另一层虚拟网络中,VM 无法直接访问这些网络。

有多种选项可以让 Dataproc 节点(以及一般的 GCE 虚拟机)访问 GKE 服务,但我建议您将 GKE 集群和 Dataproc 集群放在同一个 VPC 网络中,然后创建一个类型为 LoadBalancer 的特殊 k8s 服务资源。和注释cloud.google.com/load-balancer-type: "Internal"对于您的 Pod,则同一 VPC 中的 VM 可以通过其内部 IP 访问该服务。看到这个 doc更多细节。

关于google-kubernetes-engine - 从 Dataproc 访问 Google Cloud Kubernetes 服务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61318875/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com