gpt4 book ai didi

apache-spark - 在 Windows 中为 pyspark 设置的环境变量

转载 作者:行者123 更新时间:2023-12-01 01:51:04 25 4
gpt4 key购买 nike

我的笔记本电脑上安装了 Spark。我能够执行“spark-shell”命令并打开 scala shell,如下所示。C:\Spark1_6\spark-1.6.0-bin-hadoop2.6\bin>spark-shell
scala>
但是当我尝试执行 pyspark 命令时。C:\Spark1_6\spark-1.6.0-bin-hadoop2.6\bin>pyspark
我收到以下错误消息。

'python' is not recognized as an internal or external command



我确实手动设置了环境用户“路径”变量。
通过附加

";C:\Python27"



我重新启动了笔记本电脑,但仍然出现相同的错误。
任何人都可以帮我解决这个问题吗?我没有正确更新环境变量吗?

Versions: Spark: 1.6.2 Windows: 8.1

最佳答案

Spark 文档可用。不要害怕,阅读它。

http://spark.apache.org/docs/1.6.0/configuration.html#environment-variables

Certain Spark settings can be configured through environment variables, which are read from ... conf\spark-env.cmd on Windows
...
PYSPARK_PYTHON   Python binary executable to use for PySpark in both driver and workers (default is python2.7 if available, otherwise python).
PYSPARK_DRIVER_PYTHON   Python binary executable to use for PySpark in driver only (default is PYSPARK_PYTHON).



尝试这样的事情:
set PYSPARK_PYTHON=C:\Python27\bin\python.exe
pyspark

关于apache-spark - 在 Windows 中为 pyspark 设置的环境变量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44568769/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com