spark-dataframe - 如何在spark数据框中获取记录的输入文件名？

Question

我正在通过从 s3 加载制表符分隔的文件在 spark 中创建数据框。我需要获取数据框中每条记录的输入文件名信息以进行进一步处理。我试过

dataframe.select(inputFileName())

但是我得到了 input_file_name 的空值。有人请帮我解决这个问题。

Answer 1

您可以使用 withColumn 在数据框上创建一个新列和 input_file_name() :

dataframe.withColumn("input_file", input_file_name())