linux - "Memory is below 1MB, or missing a M/G at the end of the memory specification?"是什么原因

Question

我正在我的 Linux 操作系统上构建一个 spark 集群。但是当我使用./sbin/start-all.sh启动它时，从节点发生了以下错误。

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Exception in thread "main" java.lang.IllegalStateException: Memory is below 1MB, or missing an M/G at the end of the memory specification?
        at org.apache.spark.deploy.worker.WorkerArguments.checkWorkerMemory(WorkerArguments.scala:181)
        at org.apache.spark.deploy.worker.WorkerArguments.<init>(WorkerArguments.scala:66)
        at org.apache.spark.deploy.worker.Worker$.main(Worker.scala:742)
        at org.apache.spark.deploy.worker.Worker.main(Worker.scala)

我检查了环境配置cat/etc/profile 并重新加载了source/etc/profile。

下面是spark-env.sh的内容

export JAVA_HOME=/root/apps/jdk1.8.0_60
export SCALA_HOME=/root/apps/scala
export SPARK_MASTER_HOST=hdp-01
export SPARK_WORKER_MEMORY=512
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077

但是我没有发现任何问题。我能做些什么来解决它？

Answer 1

我试着研究配置文件，发现有些配置项不对。

1. SPARK_WORKER_MEMORY，设置 worker 必须分配给执行程序的总内存量(例如 1000m、2g)。
2. SPARK_MASTER_OPTS，仅为主机设置配置属性(例如“-Dx=y”)。
3. SPARK_WORKER_CORES，设置要在这台机器上使用的核心数。...

所以我将我的配置修改为:

    export SPARK_WORKER_MEMORY=512M
    export SPARK_WORKER_CORES=2
    #export SPARK_WORKER_INSTANCES=1  # default 1
    #export SPARK_MASTER_PORT=7077    # default 7077