hadoop - 如何让 shark/spark 清除缓存？

Question

当我运行我的 shark 查询时，内存被储存在主内存中这是我的 top 命令结果。

---

内存:总计 74237344k，已使用 70080492k，空闲 4156852k，缓冲区 399544k交换:总共 4194288k，已使用 480k，免费 4193808k，缓存 65965904k

---

即使我杀死/停止 shark、spark、hadoop 进程，这也不会改变。目前，清除缓存的唯一方法是重启机器。

有没有人遇到过这个问题？是 spark/shark 中的某些配置问题还是已知问题？

Answer 1

删除所有缓存数据:

sqlContext.clearCache()

来源:https://spark.apache.org/docs/2.0.1/api/java/org/apache/spark/sql/SQLContext.html

如果你想从缓存中删除特定的 Dataframe:

df.unpersist()