google-cloud-platform - 应如何配置主节点和工作节点以实现可扩展性和高可用性

Question

我正在使用 GCP Dataproc 和 Kubernetes 开发数据工程解决方案。
虽然创建原型(prototype)很容易，但问题在于 master 和 worker 配置。
云提供商的示例表明主服务器和工作人员的配置相同。
https://cloud.google.com/ai-platform/training/docs/machine-types
AWS 和 Azure 等其他云提供商也是如此。
master 的配置是否可能低于 worker ？
例如。
主 = n1-highcpu-8
worker = n1-highcpu-16

Answer 1

当您在 GKE 上运行 Dataproc 时，主节点和工作节点的大小实际上并不适用，因为 Kubernetes 成为资源管理器而不是 YARN。创建 GKE 集群时，有多种策略可用于优化运行 Dataproc 的成本和规模。我建议使用 Node Auto-provisioning因为它会根据部署的工作负载自动添加/删除大小合适的节点。您还可以设置节点的最小和最大大小。我相信最小尺寸应该使用 4 个 CPU 机器类型。
在创建标准 Dataproc 集群时，主节点和工作节点确实可以是不同的类型。有助于确定主节点大小的因素包括工作节点的数量和提交的作业数量。通常，您最终会为主节点和工作节点提供类似的 CPU 配置，如果您有 500 多个工作节点，您可能希望主节点的内存是工作节点的 2 倍，因为它们的内存要大得多要管理的 worker 足迹。