apache-spark - 从 Spark 中的 Parquet 文件中读取特定列的有效方法

Question

从具有多列的 Parquet 文件中仅读取 spark 中的列子集的最有效方法是什么？正在使用 spark.read.format("parquet").load(<parquet>).select(...col1, col2)最好的方法是什么？我也更喜欢使用带有案例类的类型安全数据集来预定义我的架构，但不确定。

Answer 1

val df = spark.read.parquet("fs://path/file.parquet").select(...)

这只会读取相应的列。事实上， Parquet 是一种柱状存储，它完全适用于这种类型的用例。尝试运行 df.explain spark 会告诉你只读取相应的列(它打印执行计划)。 explain如果您还使用 where 条件，还会告诉您哪些过滤器被推送到物理执行计划。最后使用以下代码将数据框(行数据集)转换为案例类的数据集。

case class MyData...
val ds = df.as[MyData]