python - py4j.protocol.Py4JError : An error occurred while calling None. 无。痕迹:

Question

我尝试在 SPARK 集群上运行 Python 脚本，出现错误

File "create_csv_ecs.py", line 15, in <module>
sc = SparkContext(conf=conf)
  File "/opt/disk1/spark-2.3.0-bin-without-hadoop/python/lib/pyspark.zip/pyspark/context.py", line 115, in __init__
  File "/opt/disk1/spark-2.3.0-bin-without-hadoop/python/lib/pyspark.zip/pyspark/context.py", line 280, in _ensure_initialized
  File "/opt/disk1/spark-2.3.0-bin-without-hadoop/python/lib/pyspark.zip/pyspark/java_gateway.py", line 117, in launch_gateway
  File "/opt/disk1/data/hdfs/tmp/nm-local-dir/usercache/appcache/application_17/container_000001/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 180, in java_import
  File "/opt/disk1/data/hdfs/tmp/nm-local-dir/usercache/appcache/application_17/container_000001/py4j-0.10.7-src.zip/py4j/protocol.py", line 332, in get_return_value
py4j.protocol.Py4JError: An error occurred while calling None.None. Trace:
Authentication error: unexpected command.

我正在运行一个简单的 python 来打印如下的 hello 词(IMPORTS 用于我的实际脚本)

from pyspark import SparkContext
from pyspark import SparkConf
from pyspark.sql import SparkSession

import csv
import re

conf = SparkConf().setAppName("Convert CSV - Python")
sc = SparkContext(conf=conf)


print ("Hello Spark")

我的 SPARK 版本 --

spark-submit --version

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.3.1
      /_/

Using Scala version 2.11.8, Java HotSpot(TM) Client VM, 1.8.0_66
Branch
Compiled by user vanzin on 2018-06-01T20:37:04Z
Revision
Url
Type --help for more information.

本地 Windows 计算机上的我的 SPARK_HOME --

SPARK_HOME
C:\Users\spark-2.3.1-bin-hadoop2.7

如果有人解决了这个错误，请帮助我，因为这个错误，我在过去的两天里陷入了困境，让我知道是否需要更多信息来解决这个问题。

Answer 1

我收到错误，这是因为我的本地计算机和我正在调用的 SPARK 服务器上的版本不匹配。

所以解决方法是我将本地计算机上的版本更改为 2.3.0，之前是 2.3.1。