apache-spark - spark任务大小太大

Question

我正在使用 LBFGS 逻辑回归将示例分类为两个类别之一。当我训练模型时，我收到很多此类警告 -

WARN scheduler.TaskSetManager: Stage 132 contains a task of very large size (109 KB). The maximum recommended task size is 100 KB.
WARN scheduler.TaskSetManager: Stage 134 contains a task of very large size (102 KB). The maximum recommended task size is 100 KB.
WARN scheduler.TaskSetManager: Stage 136 contains a task of very large size (109 KB). The maximum recommended task size is 100 KB.

我有大约 94 个特征和大约 7500 个训练示例。为了将任务大小分成更小的块，我是否应该通过其他一些参数？

另外，这只是一个警告，在最坏的情况下可以忽略吗？还是妨碍了训练？

我这样叫我的教练——

val lr_lbfgs = new LogisticRegressionWithLBFGS().setNumClasses(2)
lr_lbfgs.optimizer.setRegParam(reg).setNumIterations(numIterations)
val model = lr_lbfgs.run(trainingData)

另外，我的驱动程序和执行程序内存是 20G我将其设置为 spark-submit 的参数

Answer 1

Spark sends a copy需要对执行者可见的每个变量和方法；此警告意味着，这些对象总共超过 100 KB。如果它不会显着影响性能，您可以放心地忽略此警告，或者您可以考虑将一些变量标记为 broadcast variables .