hadoop - 从 HDFS 收集 Parquet 数据到本地文件系统

Question

给定一个分布在 HDFS 上的 Parquet 数据集(元数据文件 + 可能的 .parquet 部分)，如何正确合并部分并将数据收集到本地文件系统？ dfs -getmerge ... 不起作用 - 它将元数据与实际的 Parquet 文件合并..

Answer 1

有一种涉及 Apache Spark API 的方法 - 它提供了一种解决方案，但可能存在不使用第三方工具的更有效的方法。

spark> val parquetData = sqlContext.parquetFile("pathToMultipartParquetHDFS")       
spark> parquet.repartition(1).saveAsParquetFile("pathToSinglePartParquetHDFS")

bash> ../bin/hadoop dfs -get pathToSinglePartParquetHDFS localPath

从 Spark 1.4 开始，最好使用 DataFrame::coalesce(1) 而不是 DataFrame::repartition(1)