gpt4 book ai didi

pyspark - 无法在 Google Colab 上安装 PySpark

转载 作者:行者123 更新时间:2023-12-04 22:26:51 25 4
gpt4 key购买 nike

我正在尝试使用下面给出的代码在 Google Colab 上安装 PySpark,但出现以下错误。
tar: spark-2.3.2-bin-hadoop2.7.tgz: 无法打开: 没有那个文件或目录
tar:错误不可恢复:现在退出
此代码已成功运行一次。但是在笔记本重启后它会抛出这个错误。我什至尝试从不同的 Google 帐户运行它,但再次出现同样的错误。
(还有什么办法可以让我们不需要每次在笔记本重新启动后都安装 PySpark?)
代码:
-------------------------------------------------- -------------------------------------------------- -----------------------------
!apt-get install openjdk-8-jdk-headless -qq >/dev/null
!wget -q http://apache.osuosl.org/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz
下面这行似乎导致了问题,因为它没有找到下载的文件。
!tar xvf spark-2.3.2-bin-hadoop2.7.tgz
我还尝试了在中等博客某处建议的以下两行(而不是上面两行)。但没有更好的了。
!wget -q http://mirror.its.dal.ca/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz
!tar xvf spark-2.4.0-bin-hadoop2.7.tgz
!pip install -q findspark
-------------------------------------------------- -------------------------------------------------- ---------------------------
任何想法如何摆脱这个错误并在 Colab 上安装 PySpark?

最佳答案

我只是使用在 colab 上运行 pyspark

!pip 安装 pyspark

它工作正常。

关于pyspark - 无法在 Google Colab 上安装 PySpark,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55548075/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com