python - 如何从Python脚本/代码调用Spark2-submit命令

Question

我是 Spark 新手，一无所知。我被要求调查现有计划并被赋予以下任务1)文件1.py2)文件2.py版本是Spark2.0在 file1.py 中 --> Spark 使用 SparkSession 启动。基本上，我必须从 file1.py 调用 file2.py。我怎样才能做到这一点？

在控制台中，我可以运行这些单独的文件，例如:Spark2-提交file1.pySpark2-提交file2.py运行良好。但以编程方式，如何从 file1.py 调用 file2.py。

Answer 1

您可以像这样在 shell 作业中设置依赖关系，尽管我没有运行脚本，但逻辑上是这样工作的。希望这会有所帮助。

#./bin/sh

echo "Spark Job started ..."

echo "First Spark script-1 started ..."

spark2-Submit file1.py

if [ $? -eq 0 ]; then
    echo "First Spark script-1 ran successfully..."
    echo "Second Spark script-2 started ..."
    spark2-Submit file2.py
    if [ $? -eq 0 ]; then
       echo "Second Spark script-2 ran successfully..."
    else 
       echo "Second Spark script-2 failed ..."
       exit 1
else
    echo "First Spark script-1 failed ..."
    exit 1
fi