scala - Spark 2.2 空安全左外连接空指针异常-6ren

scala - Spark 2.2 空安全左外连接空指针异常

转载作者：行者123 更新时间：2023-12-01 06:00:02

使用空安全等于运算符执行左外连接会导致 NullPointerException .

版本
Spark 2.2.0，
斯卡拉 2.11.8

scala> var d1 = Seq((null, 1), ("a1", 2)).toDF("a", "b")
scala> d1.show
+----+---+
|   a|  b|
+----+---+
|null|  1|
|  a1|  2|
+----+---+

scala> var d2 = Seq(("a2", 3)).toDF("a", "b")
scala> d2.show
+---+---+
|  a|  b|
+---+---+
| a2|  3|
+---+---+

scala> d1.joinWith(d2, d1("a") <=> d2("a"), "left_outer").show
17/10/10 09:44:39 ERROR Executor: Exception in task 0.0 in stage 6.0 (TID 8)
java.lang.NullPointerException

这种行为是预期的吗？

堆栈跟踪

java.lang.NullPointerException
    at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIterator.processNext(Unknown Source)
    at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43)
    at org.apache.spark.sql.execution.WholeStageCodegenExec$$anonfun$8$$anon$1.hasNext(WholeStageCodegenExec.scala:395)
    at org.apache.spark.sql.execution.SparkPlan$$anonfun$2.apply(SparkPlan.scala:234)
    at org.apache.spark.sql.execution.SparkPlan$$anonfun$2.apply(SparkPlan.scala:228)
    at org.apache.spark.rdd.RDD$$anonfun$mapPartitionsInternal$1$$anonfun$apply$25.apply(RDD.scala:827)
    at org.apache.spark.rdd.RDD$$anonfun$mapPartitionsInternal$1$$anonfun$apply$25.apply(RDD.scala:827)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
    at org.apache.spark.scheduler.Task.run(Task.scala:108)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:335)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
17/10/10 10:19:28 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, localhost, executor driver): java.lang.NullPointerException
    at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIterator.processNext(Unknown Source)
    at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43)
    at org.apache.spark.sql.execution.WholeStageCodegenExec$$anonfun$8$$anon$1.hasNext(WholeStageCodegenExec.scala:395)
    at org.apache.spark.sql.execution.SparkPlan$$anonfun$2.apply(SparkPlan.scala:234)
    at org.apache.spark.sql.execution.SparkPlan$$anonfun$2.apply(SparkPlan.scala:228)
    at org.apache.spark.rdd.RDD$$anonfun$mapPartitionsInternal$1$$anonfun$apply$25.apply(RDD.scala:827)
    at org.apache.spark.rdd.RDD$$anonfun$mapPartitionsInternal$1$$anonfun$apply$25.apply(RDD.scala:827)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
    at org.apache.spark.scheduler.Task.run(Task.scala:108)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:335)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

17/10/10 10:19:28 ERROR TaskSetManager: Task 0 in stage 0.0 failed 1 times; aborting job
org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 0.0 (TID 0, localhost, executor driver): java.lang.NullPointerException
    at org.apache.spark.sql.catalyst.expressions.GeneratedClass$GeneratedIterator.processNext(Unknown Source)
    at org.apache.spark.sql.execution.BufferedRowIterator.hasNext(BufferedRowIterator.java:43)
    at org.apache.spark.sql.execution.WholeStageCodegenExec$$anonfun$8$$anon$1.hasNext(WholeStageCodegenExec.scala:395)
    at org.apache.spark.sql.execution.SparkPlan$$anonfun$2.apply(SparkPlan.scala:234)
    at org.apache.spark.sql.execution.SparkPlan$$anonfun$2.apply(SparkPlan.scala:228)
    at org.apache.spark.rdd.RDD$$anonfun$mapPartitionsInternal$1$$anonfun$apply$25.apply(RDD.scala:827)
    at org.apache.spark.rdd.RDD$$anonfun$mapPartitionsInternal$1$$anonfun$apply$25.apply(RDD.scala:827)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
    at org.apache.spark.scheduler.Task.run(Task.scala:108)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:335)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)

最佳答案

我可以说在版本 Spark 2.2.0 和 Scala 2.11.8 中没有发现问题，使用相同的示例，因为在使用具有空安全的相同代码示例时我没有得到任何异常

<=>

和等号运算符

===

您能否再次检查并添加与问题相关的更多详细信息？

val d1 = sc.parallelize(Seq(
          (null, 1), ("a1",2))
        ).toDF("a", "b") 

d1.show


+----+---+
|   a|  b|
+----+---+
|null|  1|
|  a1|  2|
+----+---+


val d2 = sc.parallelize(Seq(
      ("a2",3))
    ).toDF("a", "b") 

d2.show

+---+---+
|  a|  b|
+---+---+
| a2|  3|
+---+---+


d1.joinWith(d2, d1("a") <=>  d2("a"), "left_outer").show()

+--------+----+
|      _1|  _2|
+--------+----+
|[null,1]|null|
|  [a1,2]|null|
+--------+----+

d1.joinWith(d2, d1("a") ===  d2("a"), "left_outer").show()



+--------+----+
|      _1|  _2|
+--------+----+
|[null,1]|null|
|  [a1,2]|null|
+--------+----+

添加其他示例:

val x = Seq((100L,null), (102L,"17179869185L"), (101L,"17179869186L"), (200L,"17179869186L"), (401L,"1L"), (500L,"1L"), (600L,"8589934593L"), (700L,"8589934593L"), (800L,"8589934593L"), (900L,"8589934594L"), (1000L,"8589934594L"), (1200L,"2L"), (1300L,"2L"), (1301L,"2L"), (1400L,"17179869187L"), (1500L,"17179869188L"), (1600L,"8589934595L")).toDF("u","x1")

x.show()


+----+------------+
|   u|          x1|
+----+------------+
| 100|        null|
| 102|17179869185L|
| 101|17179869186L|
| 200|17179869186L|
| 401|          1L|
| 500|          1L|
| 600| 8589934593L|
| 700| 8589934593L|
| 800| 8589934593L|
| 900| 8589934594L|
|1000| 8589934594L|
|1200|          2L|
|1300|          2L|
|1301|          2L|
|1400|17179869187L|
|1500|17179869188L|
|1600| 8589934595L|
+----+------------+

val y = Seq(("17179869187L",-8589934595L), ("17179869188L",-8589934595L), ("17179869185L",-858993
4593L)).toDF("x2","y")


y.show()

+------------+-----------+
|          x2|          y|
+------------+-----------+
|17179869187L|-8589934595|
|17179869188L|-8589934595|
|17179869185L|-8589934593|
+------------+-----------+


x.join(y,'x1 === 'x2, "left_outer").show()

+----+------------+------------+-----------+
|   u|          x1|          x2|          y|
+----+------------+------------+-----------+
| 100|        null|        null|       null|
| 102|17179869185L|17179869185L|-8589934593|
| 101|17179869186L|        null|       null|
| 200|17179869186L|        null|       null|
| 401|          1L|        null|       null|
| 500|          1L|        null|       null|
| 600| 8589934593L|        null|       null|
| 700| 8589934593L|        null|       null|
| 800| 8589934593L|        null|       null|
| 900| 8589934594L|        null|       null|
|1000| 8589934594L|        null|       null|
|1200|          2L|        null|       null|
|1300|          2L|        null|       null|
|1301|          2L|        null|       null|
|1400|17179869187L|17179869187L|-8589934595|
|1500|17179869188L|17179869188L|-8589934595|
|1600| 8589934595L|        null|       null|
+----+------------+------------+-----------+

x: org.apache.spark.sql.DataFrame = [u: bigint, x1: string]
y: org.apache.spark.sql.DataFrame = [x2: string, y: bigint]
Command took 1.00 second

关于scala - Spark 2.2 空安全左外连接空指针异常，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46668984/

文章推荐： jQuery 自动完成在下拉列表中显示提示文本

文章推荐： python - 在 1.4 中重写 Model __getattr__ 的适当方法

文章推荐： Java-如何显示记录数

java - 让 CompletableFuture 异常()处理 supplyAsync() 异常
问题很简单:我正在寻找一种优雅的使用方式 CompletableFuture#exceptionally与 CompletableFuture#supplyAsync 一起.这是行不通的: priva
java - 从 XSD 生成 Java 异常/使用 JAXB2 绑定(bind)异常
对于 Web 服务，我们通常使用 maven-jaxb2-plugin 生成 java bean，并在 Spring 中使用 JAXB2 编码。我想知道如何处理 WSDL/XSD 中声明的(SOAP-
c - 当我违反数组大小限制时，为什么我没有收到 OutOfBounds 异常(如 Java 异常)或 C 中的任何其他错误？
这个问题已经有答案了: Array index out of bound behavior (10 个回答) 已关闭 8 年前。我对下面的 C 代码感到好奇 int main(){
java - 为什么 MediaPlayer.create 在类的开头初始化时会抛出 NullPointer 异常，而在 OnCreate 方法中初始化时不会抛出 NullPointer 异常？
当在类的开头使用上下文和资源初始化 MediaPlayer 对象时，它会抛出 NullPointer 异常，但是当在类的开头声明它时(因此它是 null)，然后以相同的方式初始化它在onCreate方
java - JAVA 6 中出现 SSL 异常，但 JAVA 8 中没有 SSL 异常
嘿我尝试将 java 程序连接到 REST API。使用相同的代码部分，我在 Java 6 中遇到了 Java 异常，并且在 Java 8 中运行良好。环境相同: 信任机器 unix 用户代
linux - 异常(exception)如下。 org.apache.flume.FlumeException : Unable to load source type in flume twitter analysis 异常
我正在尝试使用 Flume 和 Hive 进行 Twitter 分析。为了从 twitter 获取推文，我在 flume.conf 文件中设置了所有必需的参数(consumerKey、consumer
JavaFX 异常
我在 JavaFX 异常方面遇到一些问题。我的项目在我的 Eclipse 中运行，但现在我的 friend 也尝试访问该项目。我们已共享并直接保存到保管箱文件夹中。但他根本无法让它发挥作用。他在控制台
Jquery模糊()异常
假设我使用 blur() 事件验证了电子邮件 ID，我正在这样做: $('#email').blur(function(){ //make ajax call , check if dupli
调用回调函数时出现C#异常
我这样做是为了从 C 代码调用非托管函数。 pCallback 是一个函数指针，因此在托管端是一个委托(delegate)。 [DllImport("MyDLL.dll")] public stati
Java:异常
为什么这段代码是正确的: try { } catch(ArrayOutOfBoundsException e) {} 这是错误的: try { } catch(IOException e) {} 这段
调用dll函数后未捕获C++异常
我遇到了以下问题:有导出函数的DLL。代码示例如下:[动态链接库] __declspec(dllexport) int openDevice(int,void**) [应用] 开发者.h: __de
析构函数中的c++异常
从其他线程，我知道我们不应该在析构函数中抛出异常!但是对于下面的例子，它确实有效。这是否意味着我们只能在一个实例的析构函数中抛出异常？我们应该如何理解这个代码示例! #include using n
Java基础——异常
为什么需要异常引出 public static void main(String[
Java经典面试题汇总:异常
1. Java的异常机制 Throwable类是Java异常类型的顶层父类，一个对象只有是 Throwable 类的(直接或者间接)实例，他才是一个异常对象，才能被异常处理机制识别。JDK中内
python - “异常”对象不可调用
我是 Python 的新手，我对某种异常方法的实现有疑问。这是代码(缩写): class OurException(Exception): """User defined Exception"
Cassandra ArrayIndexOutOfBoundsException 异常
我已经创建了以下模式来表示用户和一组线程之间的关联，这些线程按他们的最后一条消息排序(用户已经阅读了哪些线程，哪些没有): CREATE TABLE table(user_id bigint, mes
Python 异常 - 捕获除预期之外的所有异常
我正在使用 Python 编写一个简单的自动化脚本，它可能会在多个位置引发异常。在他们每个人中，我都想记录一条特定的消息并退出程序。为此，我在捕获异常并处理它(执行特定的日志记录操作等)后引发 Sys
F# printfn 异常
谁能解释一下为什么这会导致错误: let xs = [| "Mary"; "Mungo"; "Midge" |] Array.iter printfn xs 虽然不是这样: Array.iter pr
安全登录后尝试访问任何页面时发生 JPA 异常
在我使用 Play! 的网站上，我有一个管理部分。所有 Admin Controller 都有一个 @With 和一个 @Check 注释。断开连接后，一切正常。连接后，每次加载页面(任何页面，无论
仅当部署在服务器上而非本地主机上时出现 Azure 异常
我尝试连接到 azure 表存储并添加一个对象。它在本地主机上工作得很好，但是在我使用的服务器上我得到以下异常及其内部异常: Exception of type 'Microsoft.Wind

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

scala - Spark 2.2 空安全左外连接空指针异常