hadoop - 对Talend中的Spark组件的自定义Hadoop分发支持

Question

我正在使用自定义hadoop 2.4的集群。我正在尝试将talend与spark组件一起使用。
对于tSparkConnection组件，我已设置了相关的SparkHost SparkHome。

对于分发，两个可用选项是Cloudera和Custom(不支持)。
选择Custom(不支持)发行版时，将提供一个选择以选择自定义Hadoop版本以包括相关的库。
此处提供的选项包括:Cloudera，HortonWorks，MapR，Apache，Amazon EMR，PivotalHD。但是对我来说，当我选择Cloudera时，它附带了Hadoop 2.3，并且我假设所有基本库都丢失了，因此我得到一个“NoClassDefFoundError”，这导致无法通过此Spark连接在Spark中加载文件。顺便说一句，我的 Spark 版本是1.0.0

我想知道如何解决此问题以及使此版本的Spark与Hadoop 2.4一起运行的方法。

错误被复制并粘贴到下面:

[statistics] connecting to socket on port 3637

[statistics] connected

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/api/java/JavaSparkContext

    at sparktest.sparktest_0_1.sparktest.tSparkConnection_2Process(sparktest.java:491)

    at sparktest.sparktest_0_1.sparktest.runJobInTOS(sparktest.java:1643)

    at sparktest.sparktest_0_1.sparktest.main(sparktest.java:1502)

Caused by: java.lang.ClassNotFoundException: org.apache.spark.api.java.JavaSparkContext

    at java.net.URLClassLoader$1.run(URLClassLoader.java:372)

    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)

    at java.security.AccessController.doPrivileged(Native Method)

    at java.net.URLClassLoader.findClass(URLClassLoader.java:360)

    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)

    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)

    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

    ... 3 more

[statistics] disconnected

Job sparktest ended at 13:19 21/10/2014. [exit code=1]

谢谢!

Answer 1

是CDH 5.0.0包含Hadoop 2.3。 Hadoop 2.4.0正在开发过程中，听起来它将可用于CDH5.x。

最好。