hadoop - Spark提交与master作为yarn-client(Windows)一起出现错误 “Could not find or load main class”

Question

我已经在Windows 8.1上安装了带有Spark 1.4.1的Hadoop2.7.1

当我执行以下命令时

cd spark
spark-submit --class org.apache.spark.examples.SparkPi  --master yarn --deploy-mode client lib/spark-examples*.jar  10

我在JobHistoryServer日志中遇到以下错误

Error: Could not find or load main class '-Dspark.externalBlockStore.folderName=spark-262c4697-ef0c-4042-af0c-8106b08574fb'

我进行了进一步的调试(沿着搜索网)，并且可以获取容器cmd脚本的位置，其中以下部分(省略了其他行)

...
@set CLASSPATH=C:/tmp/hadoop-xyz/nm-local-dir/usercache/xyz/appcache/application_1487502025818_0003/container_1487502025818_0003_02_000001/classpath-3207656532274684591.jar
...
@call %JAVA_HOME%/bin/java -server -Xmx512m -Djava.io.tmpdir=%PWD%/tmp '-Dspark.fileserver.uri=http://192.168.1.2:34814' '-Dspark.app.name=Spark shell' '-Dspark.driver.port=34810' '-Dspark.repl.class.uri=http://192.168.1.2:34785' '-Dspark.driver.host=192.168.1.2' '-Dspark.externalBlockStore.folderName=spark-dd9f3f84-6cf4-4ff8-b0f6-7ff84daf74bc' '-Dspark.master=yarn-client' '-Dspark.driver.appUIAddress=http://192.168.1.2:4040' '-Dspark.jars=' '-Dspark.executor.id=driver' -Dspark.yarn.app.container.log.dir=/dep/logs/userlogs/application_1487502025818_0003/container_1487502025818_0003_02_000001 org.apache.spark.deploy.yarn.ExecutorLauncher --arg '192.168.1.2:34810' --executor-memory 1024m --executor-cores 1 --num-executors  2 1> /dep/logs/userlogs/application_1487502025818_0003/container_1487502025818_0003_02_000001/stdout 2> /dep/logs/userlogs/application_1487502025818_0003/container_1487502025818_0003_02_000001/stderr

我检查了CLASSPATH的相关文件，看起来不错。主类 org.apache.spark.deploy.yarn.ExecutorLauncher在 Spark 装配 jar 中可用，它是容器 jar 的一部分

那么，这里可能是什么问题？我在net上搜索并发现了很多讨论，但是它们是针对unix变体的，而对于Windows来说却不是很多。我想知道spark提交是否真的可以在Windows上运行(仅适用于 yarn 客户端模式，独立群集模式可以运行)而无需任何特殊设置!

顺便说一句，如果我从 cmd.exe命令提示符运行上述java命令，则会收到相同的错误，因为所有命令行参数都用单引号而不是双引号引起来(使这些双引号起作用!)，所以这是一个错误

注意spark-shell也失败(在毛线模式下)，但是 yarn jar ...命令有效

Answer 1

看起来这是早期版本中的缺陷。在最新的Hadoop 2.7.3和spark 2.1.0中，它可以正常工作。但是找不到任何引用。