python - 模块未找到错误 : No module named 'pyspark'

Question

我最近在 Linux 上安装了 pyspark，在导入 pyspark 时出现错误:

ModuleNotFoundError: No module named 'pyspark'

Pyspark 在我的“pip 列表”中

我在我的 .bashrc 中添加了以下行:

export SPARK_HOME=~/Spark/spark-3.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.9-src.zip:$PYTHONPATH
export PYSPARK_PYTHON=python3

如果我从终端输入 pyspark，它会正常工作:

      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 3.0.1
      /_/
Using Python version 3.7.3 (default, Jul 25 2020 13:03:44)
SparkSession available as 'spark'.

我可以在终端中完成所有编码，只是不会从 python 脚本加载 import pyspark。看起来我的环境变量没问题。

然后我输入:

import findspark
print(findspark.init())

它说；ValueError:找不到 Spark，确保设置了 SPARK_HOME 环境或 Spark 位于预期位置(例如，来自自制程序安装)

Answer 1

检查你的环境变量设置是否正确，使用

source ~/.bashrc
cd $SPARK_HOME/bin 

或在脚本中提供完整路径

import findspark
print(findspark.init('~/Spark/spark-3.0.1-bin-hadoop2.7/'))