scala - 为什么启动StreamingContext失败并显示“IllegalArgumentException:要求失败:未注册任何输出操作，所以没有任何执行”？

Question

This question already has answers here:

Why does starting StreamingContext fail with “IllegalArgumentException: requirement failed: No output operations registered, so nothing to execute”?

（3个答案）


2年前关闭。





我迅速部署了师傅。当我尝试使用SparkStreaming分层计算时，它会失败。我在sbt控制台中创建了StreamingContext。

请参见下面的错误消息，示例代码，build.sbt和运行程序的命令



错误信息

ERROR StreamingContext: Error starting the context, 
marking it as stopped
java.lang.IllegalArgumentException: requirement failed: No output operations 
registered, so nothing to execute
at scala.Predef$.require(Predef.scala:224)
...

码

/* StreamingEx.scala */
import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.streaming.{ Seconds, StreamingContext }

val conf = new SparkConf().setMaster("spark://169.254.112.244:7077").setAppName("TestingStreaming")
val ssc = new StreamingContext(conf, Seconds(1))
val lines = ssc.socketTextStream("localhost", 5577)
val words = lines.flatMap(_.split(" "))
val pairs = words.map(word => (word, 1))
val wordCounts = pairs.reduceByKey(_ + _)
ssc.start()
ssc.awaitTermination()

内置的

name := "StreamingEx"

version := "1.0"

scalaVersion := "2.11.11"
val sparkVersion = "2.1.1"

libraryDependencies += "org.apache.spark" %% "spark-core" % sparkVersion
libraryDependencies += "org.apache.spark" %% "spark-streaming" % sparkVersion % "provided"

最佳答案

java.lang.IllegalArgumentException：要求失败：未注册任何输出操作，因此无须执行


这就是问题所在，即“未注册任何输出操作”，即使用DStream“操作”（如print）突出显示的操作。


print（）：单位打印在此DStream中生成的每个RDD的前十个元素。这是一个输出运算符，因此此DStream将被注册为输出流并在那里实现。


这样，可以归结为ssc.start()之前的以下行：

wordCounts.print()

请参阅Spark官方文档的 Output Operations on DStreams：


输出操作允许将DStream的数据推出到外部系统，例如数据库或文件系统。由于输出操作实际上允许外部系统使用转换后的数据，因此它们触发所有DStream转换的实际执行（类似于RDD的操作）。

关于scala - 为什么启动StreamingContext失败并显示“IllegalArgumentException:要求失败:未注册任何输出操作，所以没有任何执行”？ ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47967652/

上一篇：scala - 为什么启动 StreamingContext 失败并显示 "IllegalArgumentException: requirement failed: No output operations registered, so nothing to execute"？

下一篇：typo3 - 如何在typo3 7 TCA 中添加自定义向导？

Answer 1

java.lang.IllegalArgumentException：要求失败：未注册任何输出操作，因此无须执行


这就是问题所在，即“未注册任何输出操作”，即使用DStream“操作”（如print）突出显示的操作。


print（）：单位打印在此DStream中生成的每个RDD的前十个元素。这是一个输出运算符，因此此DStream将被注册为输出流并在那里实现。


这样，可以归结为ssc.start()之前的以下行：

wordCounts.print()

请参阅Spark官方文档的 Output Operations on DStreams：


输出操作允许将DStream的数据推出到外部系统，例如数据库或文件系统。由于输出操作实际上允许外部系统使用转换后的数据，因此它们触发所有DStream转换的实际执行（类似于RDD的操作）。