gpt4 book ai didi

hadoop - Spark 1.6.1 横幅显示

转载 作者:可可西里 更新时间:2023-11-01 16:47:26 26 4
gpt4 key购买 nike

Spark 版本:1.6.1 for hadoop 2.6
当我启动 pyspark REPL (bin/pyspark) 时,会显示 SPARK Logo ,我看到版本 1.6.0 而不是 1.6.1。我想不通。
请注意,spark 主文件夹中的 RELEASE 文件确实显示版本为 1.6.1,因此我没有意外下载 1.6.0 版本。

最佳答案

那里打印的版本似乎来自 Java 方面。您确定 Java 库是最新的而不仅仅是 PySpark?

这是打印横幅的地方:

https://github.com/apache/spark/blob/v1.6.1/python/pyspark/shell.py#L64

它从从 Java 上下文获取它的上下文中读取版本:

https://github.com/apache/spark/blob/v1.6.1/python/pyspark/context.py#L316

Java 上下文在这里初始化,是 Java 的一个实例 JavaSparkContext类。

https://github.com/apache/spark/blob/v1.6.1/python/pyspark/context.py#L231

关于hadoop - Spark 1.6.1 横幅显示,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35998198/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com