gpt4 book ai didi

apache-spark - 如何检查Spark RDD是否在内存中?

转载 作者:行者123 更新时间:2023-12-04 06:17:26 25 4
gpt4 key购买 nike

我有一个org.apache.spark.rdd.RDD [MyClass]的实例。
如何以编程方式检查实例是否为持久\内存?

最佳答案

您需要RDD.getStorageLevel。如果为空,它将返回StorageLevel.None。但是,只有在将其标记为缓存时,才可以。如果需要实际状态,可以使用开发人员API sc.getRDDStorageInfosc.getPersistentRDD

关于apache-spark - 如何检查Spark RDD是否在内存中?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30688145/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com