gpt4 book ai didi

apache-spark - 如何缓存 Spark 数据帧并在另一个脚本中引用它

转载 作者:行者123 更新时间:2023-12-04 02:16:55 26 4
gpt4 key购买 nike

是否可以缓存数据框,然后在另一个脚本中引用(查询)它?...我的目标如下:

  • 在脚本 1 中,创建一个数据框 (df)
  • 运行脚本 1 并缓存 df
  • 在脚本 2 中,查询 df
  • 中的数据

    最佳答案

    使用标准 Spark 二进制文件是不可能的。 Spark DataFrame绑定(bind)到特定的 SQLContext它已用于创建它,并且在它之外无法访问。

    有一些工具,例如 Apache Zeppelin 或 Databricks,它们使用注入(inject)不同 session 的共享上下文。这是您可以在不同 session 和/或 guest 语言之间共享临时表的方式。

    还有其他平台,包括 spark-jobserver Apache Ignite ,它提供了共享分布式数据结构的替代方法。你也可以看看Livy server .

    另见:Share SparkContext between Java and R Apps under the same Master

    关于apache-spark - 如何缓存 Spark 数据帧并在另一个脚本中引用它,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35583493/

    26 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com