hadoop - 给定 --driver-class-path 时，spark 找不到 spark-class-launcher-output 文件

Question

我正在尝试让 spark 与 aws 一起玩得开心。在 Windows 环境中工作。

无论我尝试过哪些选项，都永远找不到 NativeS3 类。目前，如果我使用:spark-shell --packages com.amazonaws:aws-java-sdk-s3:1.10.38,com.amazonaws:aws-java-sdk-core:1.10.38,org.apache。 hadoop:hadoop-aws:2.7.1 作为我的命令，然后我将下载文件并可以使用 s3，但是感觉很老套，每次下载它们都不理想。

在另一个人的帮助下，我一直在尝试其他选项，结果是:

>spark-shell --driver-class-path=C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar" --verbose

复制不存在的文件时出错，我更改了 temp 的路径只是为了掩盖特权疑问，但此错误仍然存​​在:

   C:\java_1.7\jdk1.7.0_79\bin\java -cp "C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar --verbose > c:\temp\spark-class-launcher-output-4879.txt;C:\Spark\bin\..\conf
Xms1g -Xmx1g "-XX:MaxPermSize=256m" org.apache.spark.deploy.SparkSubmit --conf "spark.driver.extraClassPath=C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar --verbo
The system cannot find the file c:\temp\spark-class-launcher-output-4879.txt.
Could Not Find c:\temp\spark-class-launcher-output-4879.txt

它已被精确定位到 spark-class2.cmd 文件中的这一特定行，但我不知道如何解决它。

https://github.com/apache/spark/blob/master/bin/spark-class2.cmd#L59

任何人都可以阐明吗？提前谢谢你

Answer 1

引起我注意的一件事是错误中的驱动器号

c:\temp\spark-class-launcher-output-4879.txt。

是小号。检查 spark-class2.cmd 的代码表明它读取了 %temp% 变量。

您可以在 Windows 命令行中运行 echo %temp% 来查看设置的内容吗？

如果设置为小写，则只需运行 set temp=C:\temp

然后使用驱动类运行 spark-shell。

谢谢，

查尔斯。