scala - 如何从 Spark Executor 获取或创建 Hadoop 客户端

Question

在对 Spark Dataframe 执行 mapPartitions 操作时，是否有任何方法可以从 Spark Executor 获取 Hadoop 文件系统？如果没有，至少有什么方法可以获取 Hadoop 配置以生成新的 Hadoop 文件系统？

考虑到 HDFS 是基于 Kerberos 的。

用例类似于(伪代码):

spark.sql("SELECT * FROM cities").mapPartitions{ iter =>
    iter.groupedBy(some-variable).foreach{ rows =>
        hadoopFS.write(rows)
    }
    TaskContext.getPartitionId
}

Answer 1

我找到了解决方案。 Spark utils 包含一种非常简单的序列化 hadoop 配置的方法:https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/util/SerializableConfiguration.scala