apache-spark - Spark - X 毫秒后执行器心跳超时

Question

我的程序从目录中的文件中读取数据，这些文件的大小为 5 GB。我对这些数据应用了许多功能。我在具有 32 GB RAM 的虚拟机上作为独立(本地)运行 spark。

使用的命令:

bin/spark-submit --class ripeatlasanalysis.AnalyseTraceroute     --master local --driver-memory 30G  SparkExample-lowprints-0.0.5-SNAPSHOT-jar-with-dependencies.jar  1517961600  1518393600 3600 

1517961600 1518393600 3600是jar文件的参数。

有时程序运行没有错误，有时没有，并且得到错误:

Exception in thread "main" org.apache.spark.SparkException: Job aborted due 
 to stage failure: Task 0 in stage 2.0 failed 1 times, most recent   failure: Lost task 
0.0 in stage 2.0 (TID 119, localhost, executor driver):  
ExecutorLostFailure (executor driver exited caused by one of the running   tasks) 
Reason: Executor heartbeat timed out after 128839 ms
 Driver stacktrace:
   at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGSchedule  r$$failJobAndIndependentStages(DAGScheduler.scala:1887)
   at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1875)

问题已问 here没有回应。

Answer 1

我没有找到关于你的程序的太多信息，但一般来说这可能是由于网络问题而发生的，或者卡在计算中，但你可以做两个步骤。首先，将您工作的数据帧重新分区为更多数字，例如 df.repartition(1000)或者您可以在连接的情况下根据连接列重新分区。您还可以增加 maxResultsSize，

第二:可以增加执行器和网络超时。

--conf spark.network.timeout 10000000 --conf spark.executor.heartbeatInterval=10000000   --conf spark.driver.maxResultSize=4g