python - Apache-spark - 在 Windows 上启动 pyspark 时出错

Question

我正在尝试在 Windows 上运行 pyspark。但是，我收到以下错误:

c:\spark>pyspark
Python 3.6.0 |Anaconda 4.3.1 (64-bit)| (default, Dec 23 2016, 11:57:41) [MSC 
v.1900 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
Traceback (most recent call last):
File "C:\spark\bin\..\python\pyspark\shell.py", line 38, in <module>
   SparkContext._ensure_initialized()
File "C:\spark\python\pyspark\context.py", line 259, in _ensure_initialized
   SparkContext._gateway = gateway or launch_gateway(conf)
File "C:\spark\python\pyspark\java_gateway.py", line 80, in launch_gateway
   proc = Popen(command, stdin=PIPE, env=env)
File "C:\Users\shuzhe\Anaconda3\lib\subprocess.py", line 707, in __init__
   restore_signals, start_new_session)
File "C:\Users\shuzhe\Anaconda3\lib\subprocess.py", line 990, in _execute_child
startupinfo)
PermissionError: [WinError 5] Access is denied

我已经搜索了几个小时，但找不到解决此问题的方法。任何帮助是极大的赞赏!

谢谢!

Answer 1

您好，我遇到了同样的问题。我放弃了之前使用 cygwin tar 创建的 SPARK_HOME 文件夹(在我的例子中是 C:\spark-2.4.3-bin-hadoop2.7) 并尝试再次解压缩文件夹(来自 spark-2.4.3-bin-hadoop2.7.tgz)，但这次使用 7zip 而不是 cygwin tar 然后问题就消失了。请注意，对于 7zip，解包分两步完成，首先从 ...tgz 中提取 ...tar，然后提取...tar

中的整个目录树

Internet 上的一些其他讨论(例如 here)表明问题是由于 cygwin tar 获得了一些权限错误。这个解释和我上面测试和体验的是一致的。