gpt4 book ai didi

apache-spark - PySpark 可以在没有 Spark 的情况下工作吗?

转载 作者:行者123 更新时间:2023-12-04 04:39:50 24 4
gpt4 key购买 nike

我已经使用

pip install pyspark

我有点惊讶我已经可以运行 pyspark在命令行中或在 Jupyter Notebooks 中使用它,并且它不需要正确的 Spark 安装(例如,我不必执行本教程中的大部分步骤 https://medium.com/@GalarnykMichael/install-spark-on-windows-pyspark-4498a5d8d66c)。

我遇到的大多数教程都说需要“在安装 PySpark 之前安装 Spark”。这与我认为 PySpark 基本上是 Spark 的包装器的观点一致。但也许我在这里错了 - 有人可以解释一下:
  • 这两种技术之间的确切联系是什么?
  • 为什么安装 PySpark 足以让它运行?它真的在引擎盖下安装了 Spark 吗?如果是,在哪里?
  • 如果您只安装 PySpark,是否会遗漏某些内容(例如,我找不到 sbin 文件夹,其中包含例如启动历史服务器的脚本)
  • 最佳答案

    As of v2.2 , 执行 pip install pyspark将安装 Spark。

    如果您打算使用 Pyspark,这显然是最简单的入门方法。

    在我的系统上,Spark 安装在我的虚拟环境 (miniconda) 中 lib/python3.6/site-packages/pyspark/jars

    关于apache-spark - PySpark 可以在没有 Spark 的情况下工作吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51728177/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com