python - 系统在使用 PySpark 创建 SparkSession 时找不到指定的路由

Question

我正在尝试在 Win10 虚拟机上与 Python 一起学习 Spark。为此，我正在尝试使用 PySpark 从 CSV 文件中读取数据，但停止了以下操作:

C:\Users\israel\AppData\Local\Programs\Python\Python37\python.exeC:/Users/israel/Desktop/airbnb_python/src/main/python/spark_python/airbnb.py

hello world1

System cannot find the specified route

我已阅读 How to link PyCharm with PySpark? , PySpark, Win10 - The system cannot find the path specified ,
The system cannot find the path specified error while running pyspark , PySpark - The system cannot find the path specified但还没有找到实现解决方案的运气。
我正在使用 IntelliJ，python 3.7。这是运行配置。



我正在使用 IntelliJ，python 3.7。代码如下

from pyspark.sql import SparkSession
from pyspark.sql import Row
from pyspark.sql.types import *


if __name__ == "__main__":

    print("hello world1")

    spark = SparkSession \
        .builder \
        .appName("spark_python") \
        .master("local") \
        .getOrCreate()

    print("hello world2")

    path = "C:\\Users\\israel\\Desktop\\data\\listings.csv"

    df = spark.read\
        .format("csv")\
        .option("header", "true")\
        .option("inferSchema", "true")\
        .load(path)

    df.show()

    spark.stop()

错误似乎在 SparkSession 中，但我不知道宣布的错误与该行有什么关系。值得一提的是，执行永远不会结束，我必须手动停止执行才能重新运行它。谁能告诉我我做错了什么？请

Answer 1

我确信这不是最好的解决方案，但一种方法是直接从 pyspark 二进制文件启动你的 python 解释器。

这可以位于:
$SPARK_HOME\bin\pyspark

此外，如果您在任何终端处于事件状态时修改环境变量，则变量在下次启动之前不会刷新。这也适用于 Pycharm。如果您还没有尝试过，重启 pycharm 也可能有所帮助。