apache-spark - 失败的 Spark 执行器是否值得关注？

Question

我知道 Apache Spark 是围绕弹性数据结构设计的，但是在运行系统期间是否会出现故障，或者这是否通常表示存在问题？

当我开始将系统扩展到不同的配置时，我看到 ExecutorLostFailure和 No more replicas (见下文)。系统恢复，程序结束。

我是否应该关注这一点，我们通常可以采取哪些措施来避免这种情况？或者随着执行者数量的增加，这是预期的吗？

18/05/18 23:59:00 WARN TaskSetManager: Lost task 87.0 in stage 4044.0 (TID 391338, ip-10-0-0-68.eu-west-1.compute.internal, executor 11): ExecutorLostFailure (executor 11 exited caused by one of the running tasks) Reason: Container marked as failed: container_1526667532988_0010_01_000012 on host: ip-10-0-0-68.eu-west-1.compute.internal. Exit status: -100. Diagnostics: Container released on a *lost* node
18/05/18 23:59:00 WARN BlockManagerMasterEndpoint: No more replicas available for rdd_193_7 !
18/05/18 23:59:00 WARN BlockManagerMasterEndpoint: No more replicas available for rdd_582_50 !
18/05/18 23:59:00 WARN BlockManagerMasterEndpoint: No more replicas available for rdd_401_91 !
18/05/18 23:59:00 WARN BlockManagerMasterEndpoint: No more replicas available for rdd_582_186 !
18/05/18 23:59:00 WARN BlockManagerMasterEndpoint: No more replicas available for rdd_115_139 !

Answer 1

As I begin to scale the system out to different configurations, I see ExecutorLostFailure and No more replicas (See below). Should I be concerned with this?

你是对的，这个异常并不一定意味着你的 Spark 作业有问题，因为即使在服务器由于物理原因(例如中断)停止工作的情况下，它也会被抛出。

但是，如果您在工作中看到多个 executor 失败，这可能表明某些事情可以改进。更具体地说， Spark 配置包含一个名为 spark.task.maxFailures 的参数。 ，它对应于每个任务的最大失败次数，之后一个作业将被视为失败。因此，在表现良好的 Spark 作业中，您可能会看到一些执行程序失败，但它们应该很少见，而且您应该很少看到特定任务多次失败，因为这可能意味着它不是执行程序的错，但处理的任务极其繁重。

Are there typically things we can do to avoid this?

这在很大程度上取决于您的工作性质。然而，如前所述，通常的怀疑是创建的任务对于执行程序来说太重了(例如，在所需的内存方面)。 Spark 基于多种因素为每个 RDD 创建多个分区，例如 size of your cluster .但是，例如，如果您的集群非常小，Spark 可能会创建非常大的分区并给执行程序带来问题。因此，您可以尝试对代码中的 RDD 进行重新分区，以强制执行更多、更小的分区，这样可以更轻松地进行处理。