azure - Databricks/Spark 错误 - 依赖项更新？

Question

我对databricks还很陌生。我不断收到一个错误(几乎是随机的 - 似乎不是我的代码的问题)，只能通过重新启动集群来解决。错误是:

org.apache.spark.SparkException: Job aborted due to stage failure

...

org.apache.spark.SparkException: Failed to fetch spark://10.100.52.23:37487/files/packages.tar during dependency update

有人见过这个吗？您有机会知道为什么会发生这种情况吗？

我的代码是用 R 编写的，并且我在集群上安装了包 xgboost。我认为这是唯一一个未包含在默认值中的库。

Answer 1

向 Microsoft 提出的请求及其工程团队已回复如下。

Spark_apply() 函数将用户代码(闭包)捆绑在名为 package.tar 的文件中。当有多个 Sparklyr 作业时，某些执行程序可能会在无权访问捆绑文件时被分配任务。

这需要在上游 Sparklyr 中解决，以便在此处为捆绑文件使用唯一的名称。我们向 Sparklyr 社区提交了一个问题，可在此处进行跟踪。 https://github.com/sparklyr/sparklyr/issues/2244 .

所以这似乎是一个已知问题，目前我们的团队将修复此错误，但这需要一些时间。