python - py4j.protocol.Py4JError : org. apache.spark.api.python.PythonUtils.getEncryptionEnabled 在 JVM 中不存在

Question

我目前使用的是 JRE:1.8.0_181，Python:3.6.4，spark:2.3.2

我正在尝试在 Python 中执行以下代码:

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('Basics').getOrCreate()

此操作失败并出现以下错误:

spark = SparkSession.builder.appName('Basics').getOrCreate() Traceback (most recent call last): File "", line 1, in File "C:\Tools\Anaconda3\lib\site-packages\pyspark\sql\session.py", line 173, in getOrCreate sc = SparkContext.getOrCreate(sparkConf) File "C:\Tools\Anaconda3\lib\site-packages\pyspark\context.py", line 349, in getOrCreate SparkContext(conf=conf or SparkConf()) File "C:\Tools\Anaconda3\lib\site-packages\pyspark\context.py", line 118, in init conf, jsc, profiler_cls) File "C:\Tools\Anaconda3\lib\site-packages\pyspark\context.py", line 195, in _do_init self._encryption_enabled = self._jvm.PythonUtils.getEncryptionEnabled(self._jsc) File "C:\Tools\Anaconda3\lib\site-packages\py4j\java_gateway.py", line 1487, in getattr "{0}.{1} does not exist in the JVM".format(self._fqn, name)) py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled does not exist in the JVM

有人知道这里可能存在什么潜在问题吗？

感谢此处的任何帮助或反馈。谢谢!

Answer 1

使用findspark预计可以解决问题:

安装findspark

$pip install findspark

在您的代码中使用:

import findspark
findspark.init() 

您可以选择在上面的 init 方法中指定“/path/to/spark”； findspark.init("/path/to/spark")