apache-spark - 如何调试/获取 SparkR Java 后端故障的日志？

Question

我被一个 No status is returned. Java SparkR backend might have failed. 困扰使用 Spark 拟合 glm 时出错。根据 Spark web ui，作业实际上似乎运行完成，但在模型拟合期间的某个时刻(它似乎不是一致的位置)，SparkR 返回上述错误消息，然后返回到 R REPL。我没有在任何可以引用的地方看到日志来确定问题。问答者会指向日志，还是提供有关此问题的其他反馈？

我可以看到错误生成代码是 here .看起来好像是 get(".sparkRCon", .sparkREnv) 指定的连接只是不存在或在计算过程中用空字符串虚假响应？我不知所措。

我在 Spark 2.0.0使用亚马逊 EMR 5.0 .

Answer 1

FWIW - 我对这个错误的经验表明驱动程序通常已经 OOMed(虽然不是驱动程序故障的唯一原因)。节点都完成了他们的操作，但驱动程序在编译结果时失败。解决这个问题并不明显，因为 SparkR 掩盖了很多错误......我通过在 pyspark 中运行相同的查询并在那里看到驱动程序 Java OOM 错误来发现它。