scala - Spark 节点不断打印 GC(分配失败)并且没有任务运行

Question

我正在使用 Scala 运行 Spark 作业，但它卡住了，无法通过我的工作节点执行和执行任务。

目前我将此提交给 Livy，它提交给我们的 Spark 集群，具有 8 个内核和 12GB 的 RAM，配置如下:

data={
    'file': bar_jar.format(bucket_name),
    'className': 'com.bar.me',
    'jars': [
        common_jar.format(bucket_name),
    ],
    'args': [
        bucket_name,
        spark_master,
        data_folder
    ],
    'name': 'Foo',
    'driverMemory': '2g',
    'executorMemory': '9g',
    'driverCores': 1,
    'executorCores': 1,
    'conf': {
        'spark.driver.memoryOverhead': '200',
        'spark.executor.memoryOverhead': '200',
        'spark.submit.deployMode': 'cluster'
    }
}

节点日志然后无休止地充满:

2019-03-29T22:24:32.119+0000: [GC (Allocation Failure) 2019-03-29T22:24:32.119+0000:
[ParNew: 68873K->20K(77440K), 0.0012329 secs] 257311K->188458K(349944K), 
0.0012892 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]

问题是下一个阶段和任务没有执行，因此行为非常出乎意料。

Answer 1

这显然是一个正常的 GC 事件:

This ‘Allocation failure’ log is not an error but is a totally normal case in JVM. This is a typical GC event which causes the Java Garbage Collection process to get triggered. Garbage Collection removes dead objects, compact reclaimed memory and thus helps in freeing up memory for new object allocations.

来源: https://medium.com/@technospace/gc-allocation-failures-42c68e8e5e04
编辑:如果下一个阶段没有执行，也许你应该检查 stderr而不是 stdout .