apache-spark - Spark 找不到名为的模块

Question

我有一个简单的 spark 程序，但出现以下错误 -

错误:-

ImportError: No module named add_num

用于运行的命令:-

./bin/spark-submit /Users/workflow/test_task.py

代码:-

from __future__ import print_function
from pyspark.sql import SparkSession
from add_num import add_two_nos

def map_func(x):    
    print(add_two_nos(5))
    return x*x

def main():
    spark = SparkSession\
        .builder\
        .appName("test-task")\
        .master("local[*]")\
        .getOrCreate()      
    rdd = spark.sparkContext.parallelize([1,2,3,4,5]) # parallelize into 2
    rdd = rdd.map(map_func) # call the image_chunk_func 
    print(rdd.collect())    
    spark.stop()

if __name__ == "__main__":  
    main()

函数代码:-

def add_two_nos(x):
    return x*x

Answer 1

您可以通过添加语句 sc.addPyFile(Path) 来指定您希望在代码中导入的 .py 文件形式。
传递的路径可以是本地文件、HDFS(或其他Hadoop支持的文件系统)中的文件，也可以是HTTP、HTTPS或FTP URI。
然后使用 from add_num import add_two_nos