apache-spark - 我的 SparkSession 初始化需要很长时间才能在我的笔记本电脑上运行。有人知道为什么吗？

Question

我的 SparkSession 需要很长时间才能初始化

from pyspark.sql import SparkSession
spark = (SparkSession
         .builder
         .appName('Huy')
         .getOrCreate())
sc = spark.SparkContext

等了几个小时都没有成功

Answer 1

我遇到了同样的错误。我已经通过设置环境变量解决了它。我们可以直接在python代码中设置它们。您需要程序文件中的 JDK。

import os
os.environ["JAVA_HOME"] = "C:\Program Files\Java\jdk-19"
os.environ["SPARK_HOME"] = "C:\Program Files\Spark\spark-3.3.1-bin-hadoop2"