google-cloud-platform - 在 java 中从 pub sub 流式传输时使用 PubSub-NullPointerException 进行 Spark Streaming

Question

我的数据在 PubSub 中，我想流式传输数据。我使用 dataproc 在 java 中运行我的 spark 作业。但是作业失败并出现以下错误。

18 年 6 月 19 日 06:32:30 警告 org.apache.spark.streaming.scheduler.ReceiverTracker:流 0 的接收器报告的错误:无法提取消息 - java.lang.NullPointerException 在 scala.collection.convert.Wrappers$JListWrapper.iterator(Wrappers.scala:88) 在 scala.collection.IterableLike$class.foreach(Ite​​rableLike.scala:72) 在 scala.collection.AbstractIterable.foreach(Ite​​rable.scala:54) 在 scala.collection.generic.Growable$class.$plus$plus$eq(Growable.scala:59) 在 scala.collection.mutable.ListBuffer.$plus$plus$eq(ListBuffer.scala:183) 在 scala.collection.mutable.ListBuffer.$plus$plus$eq(ListBuffer.scala:45) 在 scala.collection.TraversableLike$class.to(TraversableLike.scala:590) 在 scala.collection.AbstractTraversable.to(Traversable.scala:104) 在 scala.collection.TraversableOnce$class.toList(TraversableOnce.scala:294) 在 scala.collection.AbstractTraversable.toList(Traversable.scala:104) 在 org.apache.spark.streaming.pubsub.PubsubReceiver.receive(PubsubInputDStream.scala:259) 在 org.apache.spark.streaming.pubsub.PubsubReceiver$$anon$1.run(PubsubInputDStream.scala:247)

我使用的代码段是

Answer 1

当 spark 尝试从没有等待事件的 pubsub 订阅中读取事件时，会出现此警告。它不应该中断工作，而只是意味着对于给定的数据批处理没有要读取的事件。