python - java.io.IOException : Cannot run program "python" using Spark in Pycharm (Windows) 异常

Question

我正在尝试在 Pycharm 中使用 Spark 编写一个非常简单的代码，我的操作系统是 Windows 8。我一直在处理几个问题，除了一个问题之外，它们都以某种方式设法解决了。当我使用 pyspark.cmd 运行代码时，一切正常，但我在 pycharm 中使用相同的代码时运气不好。我使用以下代码修复了 SPARK_HOME 变量的问题:

import sys
import os
os.environ['SPARK_HOME'] = "C:/Spark/spark-1.4.1-bin-hadoop2.6"
sys.path.append("C:/Spark/spark-1.4.1-bin-hadoop2.6/python")
sys.path.append('C:/Spark/spark-1.4.1-bin-hadoop2.6/python/pyspark')

所以现在当我导入 pyspark 时一切正常:

from pyspark import SparkContext

当我想运行其余代码时，问题出现了:

logFile = "C:/Spark/spark-1.4.1-bin-hadoop2.6/README.md"
sc = SparkContext()
logData = sc.textFile(logFile).cache()
logData.count()

当我收到以下错误时:

15/08/27 12:04:15 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.io.IOException: Cannot run program "python": CreateProcess error=2, The system cannot find the file specified

我已将 python 路径添加为环境变量，并且它可以使用命令行正常工作，但我无法弄清楚这段代码的问题所在。非常感谢任何帮助或评论。

谢谢

Answer 1

我遇到了和你一样的问题，然后我做了如下修改:在 Pycharm 的 Edit Configurations 中设置 PYSPARK_PYTHON 为环境变量指向 python.exe，这是我的例子:

PYSPARK_PYTHON = D:\Anaconda3\python.exe

SPARK_HOME = D:\spark-1.6.3-bin-hadoop2.6

PYTHONUNBUFFERED = 1