python - 如何解决 "SparkException: Exception thrown in Future.get"问题？

Question

我正在处理两个 pyspark 数据框，并对它们进行左反连接以跟踪日常更改，然后发送电子邮件。
我第一次尝试:

diff = Table_a.join(
    Table_b, 
    [Table_a.col1== Table_b.col1, Table_a.col2== Table_b.col2], 
    how='left_anti'
)

预期输出是包含一些数据或不包含数据的 pyspark 数据帧。

此差异数据帧从 Table_a 获取其架构。我第一次运行它时，没有按照模式表示形式显示预期的数据。下次开始就抛出 SparkException:

Exception thrown in Future.get

Answer 1

我使用 Scala，但是根据我的经验，当其中一个基础表以某种方式发生更改时，就会发生这种情况。我的建议是尝试简单地运行display(Table_a) 和 display(Table_b)，并查看这些命令是否失败。这应该会提示您问题出在哪里。

无论如何，为了有效解决问题，我的建议是清除正在运行的缓存

%sql
REFRESH my_schema.table_a
REFRESH my_schema.table_b

然后，重新定义这些变量，如下所示

Table_a = spark.table("my_schema.table_a")
Table_b = spark.table("my_schema.table_b")

这对我有用 - 希望它也对你有帮助。