- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
大家好,下面的代码中似乎找不到 StreamingContext 类。
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}
object Exemple {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local[*]").setAppName("Exemple")
val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc, Seconds(2)) //this line throws error
}
}
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/StreamingContext
at Exemple$.main(Exemple.scala:16)
at Exemple.main(Exemple.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.streaming.StreamingContext
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:338)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 2 more
Process finished with exit code 1
name := "exemple"
version := "1.0.0"
scalaVersion := "2.11.11"
// https://mvnrepository.com/artifact/org.apache.spark/spark-sql
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.2.0"
// https://mvnrepository.com/artifact/org.apache.spark/spark-streaming
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.2.0" % "provided"
// https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka-0-10" % "2.2.0"
最佳答案
请删除 provided
来自 spark-streaming 库的术语。
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.2.0"
"org.apache.spark" %% "spark-streaming-kafka-0-10" % "2.2.0" excludeAll(
ExclusionRule(organization = "org.spark-project.spark", name = "unused"),
ExclusionRule(organization = "org.apache.spark", name = "spark-streaming"),
ExclusionRule(organization = "org.apache.hadoop")
),
关于scala - 线程 "main"java.lang.NoClassDefFoundError : org/apache/spark/streaming/StreamingContext 中的异常,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49079222/
当两个进程启动时,我得到了类似的错误 java.lang.IllegalStateException: Only one StreamingContext may be started in this
我正在尝试设置一个 Sparkstreaming 代码,它从 Kafka 服务器读取行,但使用另一个本地文件中编写的规则处理它。我正在为流数据创建streamingContext,为其他应用所有其他s
我打电话 streamingContext.awaitTerminationOrTimeout(timeout) ,但我想制作 timeout环境依赖。 这意味着如果我的环境是 UAT,我想停止我的工
我有一些类似这样的代码: [DataContract] class Foo { [OnSerializing] private void BeforeSerialize(Streami
我打开 Spark shell spark-shell --packages org.apache.spark:spark-streaming-kafka_2.10:1.6.0 然后我想创建一个流上下
我正在尝试从本地计算机 (OSX) 上的文件夹中流式传输 CSV 文件。我将 SparkSession 和 StreamingContext 一起使用,如下所示: val sc: SparkConte
我正在尝试将一些数据传递到 DataContractSerializer 的 StreamingContext,但我不知道如何传递。这是我的代码的一小部分示例: MemoryStream stream
我是一名 Java 老手,正在尝试学习 Scala + Spark Streaming。我下载了基于 Eclipse 的 Scala IDE + Spark 核心 jar + Spark Stream
spark docs状态: Only one StreamingContext can be active in a JVM at the same time. 想象一下我计划从两个 Kafka 主题
我是 Spark Streaming 的新手,我正在尝试使用 Spark-shell 开始使用它。 假设我在spark-1.2.0-bin-hadoop2.4的根目录下放置了一个名为“dataTest
我试图了解 Json.NET 序列化回调中应该包含的 StreamingContext 参数是什么,首先我以为你会允许我访问正在读取的当前 json 树,但它似乎并没有,我尝试了 JSON 对象的可能
import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.even
我想概括一下我的 Main 中的接待情况。设置 SparkConf 和 JavaContextStreaming 后,我想接收任意对象,然后将其传递给分析器。 在下面的情况下,我遇到异常:任务不可序列
这个问题在这里已经有了答案: Why does starting StreamingContext fail with “IllegalArgumentException: requirement
大家好,下面的代码中似乎找不到 StreamingContext 类。 import org.apache.spark.streaming.{Seconds, StreamingContext} im
我正在尝试使用 Twitter 作为源执行 Spark Streaming 示例,如下所示: public static void main (String.. args) { SparkCo
我在尝试编写此脚本以在我的游戏中保存和加载时遇到这些错误。 Assets\Scripts\Save System\SaveData.cs(62,40): error CS0246: The typeo
当我在 yarn 上执行 Spark 流应用程序时,我继续收到以下错误 为什么会发生错误以及如何解决?任何建议都会有所帮助,谢谢~ 15/05/07 11:11:50 INFO dstream.Sta
据我了解,从目录流式传输文本文件需要 LongWritable 类型的 key , 值为 Text , 格式为 TextInputFormat .这些在 textFileStream() 中自动传递。
我是一名优秀的程序员,十分优秀!