gpt4 book ai didi

apache-spark - 了解 Spark 版本

转载 作者:行者123 更新时间:2023-12-05 05:16:32 25 4
gpt4 key购买 nike

当我在 shell 中输入 pyspark 时,它在控制台中将 spark 版本显示为 version 1.6.0

但是当我给 spark2-submit --version 时,它说 version 2.2.0.cloudera2

我想了解它们之间的区别以及运行 pyspark 的实际版本是什么?每当运行 py 脚本时,我都会使用 spark2-submit script.py

最佳答案

在执行 Pyspark 之前,尝试设置您的 spark 版本环境变量。尝试在您的终端上运行以下命令:

SPARK_MAJOR_VERSION=2 pyspark

关于apache-spark - 了解 Spark 版本,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50348630/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com