gpt4 book ai didi

spark-dataframe - 如何在spark数据框中获取记录的输入文件名?

转载 作者:行者123 更新时间:2023-12-03 18:38:22 25 4
gpt4 key购买 nike

我正在通过从 s3 加载制表符分隔的文件在 spark 中创建数据框。我需要获取数据框中每条记录的输入文件名信息以进行进一步处理。我试过

dataframe.select(inputFileName())

但是我得到了 input_file_name 的空值。有人请帮我解决这个问题。

最佳答案

您可以使用 withColumn 在数据框上创建一个新列和 input_file_name() :

dataframe.withColumn("input_file", input_file_name())

关于spark-dataframe - 如何在spark数据框中获取记录的输入文件名?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39970738/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com