java.lang.NoSuchMethodError scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;

Question

oozie作业运行时出现以下错误，我们从1.7迁移java jdk 1.8并编译成功。

Caused by: java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
        at com.twitter.scalding.RichXHandler$.<init>(XHandler.scala:38)
        at com.twitter.scalding.RichXHandler$.<clinit>(XHandler.scala)
        at com.twitter.scalding.Tool$.main(Tool.scala:152)
        at com.twitter.scalding.Tool.main(Tool.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.oozie.action.hadoop.JavaMain.run(JavaMain.java:56)

Answer 1

我也遇到了同样的问题。我使用的是 2.11，而我的集群使用的是 Scala 2.10。您必须使用与您正在运行的环境/集群相同的 scala 版本。如果运行 Spark-shell，您可以看到使用的是哪个 scala 版本。

> spark-shell
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.3
      /_/

Using Scala version **2.10.5** (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_40)