scala - 如何从 Spark DataFrame 中选择一个稳定的行子集？

Question

我已将文件加载到 Zeppelin 笔记本中的 DataFrame 中，如下所示:

val df = spark.read.format("com.databricks.spark.csv").load("some_file").toDF("c1", "c2", "c3")

这个 DataFrame 有 > 1000 万行，我想开始只处理行的一个子集，所以我使用限制:

val df_small = df.limit(1000)

但是，现在当我尝试根据其中一列的字符串值过滤 DataFrame 时，每次运行以下命令时都会得到不同的结果:

df_small.filter($"c1" LIKE "something").show()

如何为我运行的每个过滤器获取保持稳定的 df 子集？

Answer 1

Spark 作为延迟加载工作，因此仅在语句 .show以上2条语句将执行。你可以写df_small到文件并每次单独阅读或执行 df_small.cache()