apache-spark - 我们如何使用 spark 运算符设置内存和 CPU 资源限制？

Question

我是 spark-operator 的新手，我很困惑如何在 YAML 文件中设置资源请求和限制，例如在我的情况下，我为驱动程序 pod 请求了 512m 的内存，但是限制呢，它是无界的？

spec:
  driver:
    cores: 1
    coreLimit: 200m
    memory: 512m
    labels:
      version: 2.4.5
    serviceAccount: spark

规范:
司机:
核心:1
核心限制:200m
内存:512m
标签:
版本:2.4.5
服务帐户: Spark

Answer 1

在定义 yaml 文件时设置限制是一种很好的做法。如果您不这样做，您将面临按照 doc 使用节点上所有资源的风险。因为没有上限。

driver 和 executor pod 的内存限制由 Spark 中的 Kubernetes 调度程序后端在内部设置，并计算为 spark.{driver|executor}.memory + 内存开销的值。