- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我在 spark 中运行字数统计程序,但出现以下错误
我已添加 scala-xml_2.11-1.0.2.jar
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
16/12/16 05:14:02 INFO SparkContext: Running Spark version 2.0.2
16/12/16 05:14:03 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/12/16 05:14:03 WARN Utils: Your hostname, ubuntu resolves to a loopback address: 127.0.1.1; using 192.168.59.132 instead (on interface ens33)
16/12/16 05:14:03 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
16/12/16 05:14:04 INFO SecurityManager: Changing view acls to: hadoopusr
16/12/16 05:14:04 INFO SecurityManager: Changing modify acls to: hadoopusr
16/12/16 05:14:04 INFO SecurityManager: Changing view acls groups to:
16/12/16 05:14:04 INFO SecurityManager: Changing modify acls groups to:
16/12/16 05:14:04 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(hadoopusr); groups with view permissions: Set(); users with modify permissions: Set(hadoopusr); groups with modify permissions: Set()
16/12/16 05:14:05 INFO Utils: Successfully started service 'sparkDriver' on port 40559.
16/12/16 05:14:05 INFO SparkEnv: Registering MapOutputTracker
16/12/16 05:14:05 INFO SparkEnv: Registering BlockManagerMaster
16/12/16 05:14:05 INFO DiskBlockManager: Created local directory at /tmp/blockmgr-0b830180-ae51-451f-9673-4f98dbaff520
16/12/16 05:14:05 INFO MemoryStore: MemoryStore started with capacity 433.6 MB
16/12/16 05:14:05 INFO SparkEnv: Registering OutputCommitCoordinator
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$;
at org.apache.spark.ui.jobs.StagePage.<init>(StagePage.scala:44)
at org.apache.spark.ui.jobs.StagesTab.<init>(StagesTab.scala:34)
at org.apache.spark.ui.SparkUI.<init>(SparkUI.scala:62)
at org.apache.spark.ui.SparkUI$.create(SparkUI.scala:219)
at org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:161)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:440)
at LearnScala.WordCount$.main(WordCount.scala:15)
at LearnScala.WordCount.main(WordCount.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)
16/12/16 05:14:05 INFO DiskBlockManager: Shutdown hook called
16/12/16 05:14:05 INFO ShutdownHookManager: Shutdown hook called
16/12/16 05:14:05 INFO ShutdownHookManager: Deleting directory /tmp/spark-789e9a76-894f-468b-a39a-cf00da30e4ba/userFiles-3656d5f8-25ba-45c4-b2f6-9f654a049bb1
16/12/16 05:14:05 INFO ShutdownHookManager: Deleting directory /tmp/spark-789e9a76-894f-468b-a39a-cf00da30e4ba
build.SBT
:
name := "SparkApps"
version := "1.0"
scalaVersion := "2.11.5"
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "2.0.2"
// https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.10
libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "2.0.2"
// https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.10
libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "2.0.2"
// https://mvnrepository.com/artifact/org.apache.spark/spark-yarn_2.11
libraryDependencies += "org.apache.spark" % "spark-yarn_2.10" % "2.0.2"
最佳答案
I am running a word count program in spark but i am getting the below error I have added scala-xml_2.11-1.0.2.jar
libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "2.0.2"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.2"
--jars
添加所有 3rd 方 jar 到 spark-submit。选项或构建 uber jar - 见
this题
关于scala - 线程 "main"中的异常 java.lang.NoSuchMethodError : scala. Predef$.$scope()Lscala/xml/TopScope$;,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41185855/
我正在尝试提交 spark 作业 它是这样开始的: import javax.xml.parsers.{SAXParser, SAXParserFactory} import org.apache.s
当前我正在编译 JAR 文件,但由于出现标题中的错误,因此无法运行 JAR。我使用 sbt assembly 进行编译,以便包含所有依赖项。 斯卡拉 2.11.12 Spark 2.4.2 packa
我看到很多与此错误相关的答案,但都重定向到 scala 版本等。但我认为我的情况有所不同。 我有一个使用 2.10 版设置的远程 spark master-worker 集群。我能够通过 http:/
我看到很多与此错误相关的答案,但都重定向到 scala 版本等。但我认为我的情况有所不同。 我有一个使用 2.10 版设置的远程 spark master-worker 集群。我能够通过 http:/
我的 spark 项目运行正常(2.4.0),但是当我添加下一个依赖项时: org.apache.spark
我在使用 neo4j-2.3.3 版本时遇到了上述错误。这是pom文件 UTF-8 0.8.1 2.3.11 1.0.2.v20150114 2.3.3
我收到此错误的任何原因?最初用于 Scala 的 IDE 插件是 2.12.3。但是由于我使用的是 Spark 2.2.0,所以我手动将其更改为 Scala 2.11.11。 Using Spark'
我有一个可以传输 Twitter 帖子的应用程序。它工作正常,但是修改构建路径后,我无法将其设置为以前的样子。我不断收到此错误: Exception in thread "main" java.lan
I am trying to connect spark with cassandra database but I got the error mentioned below. I think th
我在 spark 中运行字数统计程序,但出现以下错误 我已添加 scala-xml_2.11-1.0.2.jar Using Spark's default log4j profile: or
我正在尝试将 Scala 2.12.0 + Spark 2.4.4 应用程序部署到 AWS EMR。 我在 EMR 中启用了 Spark 2.4.4。 当应用程序运行时,它失败并显示以下错误: jav
我正在使用 Spark 1.3.0 (Scala 2.10.X) MLlib LDA 算法和 Spark Java API。当我尝试在运行时从 LDA 模型读取文档主题分布时,遇到以下问题。 “mai
我是 Scala 和 sbt 的新手。经过大量调查,我想出了下面的build.sbt。我无法为此找到解决方案。继续下去对我很有帮助。 scalaVersion := "2.11.7" scalaVer
我正在尝试在 Scala 2.8.1 中运行一个名为 LinkedIn Norbert (https://github.com/linkedin/norbert) 的开源程序。我添加了所有 jar 文
我正在使用 spark 1.3.1 预构建版本 spark-1.3.1-bin-hadoop2.6.tgz Exception in thread "main" java.lang.NoSuchMet
我是一名优秀的程序员,十分优秀!