java - 使用 Java 运行 Spark SVMModel 的困难 - java.lang.IncompatibleClassChangeError

Question

我一直在尝试使用 Java 来运行 Spark(以防万一，我使用 IntelliJ 作为我的 IDE)。我运行了在这里找到的 calculate-pi 代码 https://spark.apache.org/examples.html经过相当多的摆弄后成功。

起初我有以下错误:“java.lang.ClassNotFoundException: [B”但我在 VM 中使用以下标志修复了它:“-Dsun.lang.ClassLoader.allowArraySyntax=true”。

现在我正在尝试构建、训练和运行 SVM 模型，如此处所述 http://spark.apache.org/docs/0.9.0/mllib-guide.html但我正在努力处理少量可用的 Java 文档。

我正在尝试运行以下代码:

import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.mllib.classification.SVMModel;
import org.apache.spark.mllib.classification.SVMWithSGD;
import org.apache.spark.mllib.regression.LabeledPoint;
import org.jblas.DoubleMatrix;

import java.util.ArrayList;
import java.util.List;

public class MinimalBugCode {

    public static void main(String[] args) throws Exception {
        try {
            JavaSparkContext spark = new JavaSparkContext("local","MinimalBugCode");

            int numberOfIterations = 10000;
            double[] theOutputData = { 1.0, 0.0, 0.0, 1.0, 1.0};
            double[][] theInputData = { { 2.2, 3.1, 1.7 }, { 1.9, 2.1, 0.6 }, { 4.7, 0.5, 1.3 }, { 2.6, 2.9, 2.2 }, { 1.5, 4.1, 1.5 }};

            int lengthOfData = theOutputData.length;

            List<LabeledPoint> thePointList = new ArrayList<LabeledPoint>();

            for ( int i=0; i<lengthOfData; i++ ) {
                LabeledPoint thisLabelledPoint = new LabeledPoint( theOutputData[i], theInputData[i] );
                thePointList.add(thisLabelledPoint);
            }

            JavaRDD<LabeledPoint> theSparkRDD = spark.parallelize( thePointList );

            SVMModel theInnerModel = SVMWithSGD.train(theSparkRDD.rdd(), numberOfIterations);

            DoubleMatrix weights = new DoubleMatrix( theInnerModel.weights() );


        } catch (Exception e) {
            e.printStackTrace();
        }
        System.exit(0);
    }
}

越界越远

SVMModel theInnerModel = SVMWithSGD.train(theSparkRDD.rdd(), numberOfIterations);

此时它中断并显示以下控制台输出:

Exception in thread "main" java.lang.IncompatibleClassChangeError: class scala.reflect.ManifestFactory$$anon$6 has interface scala.reflect.AnyValManifest as super class
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:760)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:455)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:367)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:360)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at scala.reflect.ManifestFactory$.<init>(Manifest.scala:88)
    at scala.reflect.ManifestFactory$.<clinit>(Manifest.scala)
    at scala.reflect.ClassManifestFactory$.<init>(ClassManifestDeprecatedApis.scala:150)
    at scala.reflect.ClassManifestFactory$.<clinit>(ClassManifestDeprecatedApis.scala)
    at scala.reflect.package$.<init>(package.scala:34)
    at scala.reflect.package$.<clinit>(package.scala)
    at scala.reflect.ClassTag$.<init>(ClassTag.scala:114)
    at scala.reflect.ClassTag$.<clinit>(ClassTag.scala)
    at org.apache.spark.mllib.regression.GeneralizedLinearAlgorithm.run(GeneralizedLinearAlgorithm.scala:139)
    at org.apache.spark.mllib.regression.GeneralizedLinearAlgorithm.run(GeneralizedLinearAlgorithm.scala:123)
    at org.apache.spark.mllib.classification.SVMWithSGD$.train(SVM.scala:133)
    at org.apache.spark.mllib.classification.SVMWithSGD$.train(SVM.scala:173)
    at org.apache.spark.mllib.classification.SVMWithSGD.train(SVM.scala)
    at fiddle.spark.MinimalBugCode.main(MinimalBugCode.java:37)

我发现这些错误消息相当难以理解!我对 Spark 很陌生，但有相当多的 Java 经验。

非常感谢!
-StackG

附言。顺便说一句，当我在 JavaRDD 对象上运行调试器时，它出现在调试终端中，我可以向下钻取并查看 (label,features) 的 vector 并进一步查看我放入其中的实际数字，但是在“数据”属性上标记自己说“方法抛出'java.lang.NoSuchMethodError'异常。无法评估scala.collection.JavaConversions $ JListWrapper.toString()” - 这纯粹是一个表面问题还是正在发生的更深层次的症状错了吗？

Answer 1

我现在已经解决了我自己的问题，我想我会把它留在这里以防其他人遇到类似的错误。

我做了什么:

1) 升级到上周发布的最新 Spark 1.0.0。我在我的项目中包含以下库:

• org.apache.spark:spark-core_2.10:1.0.0
• org.apache.spark:spark-mllib_2.10:1.0.0

并删除了旧的。

2) 最初这会产生错误，如下所述:http://spark.apache.org/docs/latest/mllib-guide.html .

我将我的 double[] 对象调整为 Vector 本质上是通过将它们包装在 Vectors.dense(...) 方法中，并将我的 JavaRDD 对象调整为 JavaRDD 对象使用

newRdd = oldRdd.map( r => Vectors.dense(r) )

3) 现在我的 JavaSparkContext 行抛出一个错误，指出“签名者信息与同一包中其他类的签名者信息不匹配”。经过一番挖掘后，原来是由于我的库目录中的库“servlet-api-2.5.0.jar”的旧版本所致。我删除了它并将其替换为“javax.servlet-api-3.0.1.jar”

经过这些更改后，程序编译并成功运行，似乎产生了我期望的结果。它还解决了我的后记中提到的其他问题，因为我现在可以在调试器中看到 RDD 数据并且标签显示正确。

我希望这对 future 的人有所帮助，非常感谢所有一直致力于 Spark 的开发人员 - 到目前为止，这是一次有趣的体验。

-StackG