scala - map 上的 NoSuchMethodError(Spark Scala 类)

Question

我在本地机器上以独立模式运行 Spark 1.4.1 和 Scala 2.11。
我有以下...

 object Parser {
    def main(args: Array[String]) {
        if (args.length < 6) {
            System.err.println("Usage: my.Parser <host> <input_loc> 
                                <input_dt> <match_term> <out_loc><file_type>")
            System.exit(1)
        }

        println(" *** Starting summariziation process *** ")

        var host : String = args(0)
        var inploc : String  = args(1)
        val inpdate : String  = args(2)
        val matchTerm : String  = args(3)
        val outloc : String = args(4)
        val fileType : String = args(5)

        println(" <------------------------------------------- debug ::0.0 ")

        val typesMap = Map("data" -> "data", "rider" -> "mon", "sms" -> "sms", "voice" -> "rec", "voucher" -> "vou")
        println( " typesMap - " + typesMap)
        .........
    }
}

当我通过 spark-shell 运行此代码时，它运行良好。但是，通过 spark-submit 作为类对象运行它，我得到了奇怪的行为。我收到以下错误

 *** Starting summariziation process ***
 <------------------------------------------------- debug ::0.0
 Exception in thread "main" java.lang.NoSuchMethodError: 
     scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
    at my.Parser$.main(Parser.scala:138)

我想要的只是一个简单的查找来派生要处理的文件类型。

似乎我创建 Map 的行给出了错误。我真的很困惑为什么它在 spark-shell 中工作并在 spark-submit 时出错。

有没有人遇到过这个问题？有人可以建议我如何修复它吗？
提前谢谢你的帮助!

Answer 1

预构建的 Apache Spark 1.4.1 下载适用于 Scala 2.10。如果你想使用 Scala 2.11 你可以用 -Dscala-2.11 构建.见 Building for Scala 2.11在文档中。