gpt4 book ai didi

hadoop - 如何从 pyspark rdd 或分区确定原始 s3 输入文件名

转载 作者:可可西里 更新时间:2023-11-01 14:52:55 26 4
gpt4 key购买 nike

我正在使用 pyspark 流式处理来自 S3 的 ETL 输入文件。

我需要能够建立所有原始输入文件的审计线索在 s3://上,我的 Parquet 输出在 hdfs://上结束。

给定一个dstream、rdd,甚至是一个特定的rdd分区,是否有可能确定 s3 中输入数据的原始文件名?

目前我知道的唯一方法是采取rdd.toDebugString() 并尝试解析它。然而,这感觉真的很 hacky 并且不在某些情况下工作。例如,解析调试输出对我的批处理模式导入不起作用我也在做(使用 sc.TextFile("s3://...foo/*") 样式的 glob)。

有没有人有确定原始文件名的明智方法?

似乎其他一些 spark 用户过去也有过这个问题,因为示例:

http://apache-spark-user-list.1001560.n3.nabble.com/Access-original-filename-in-a-map-function-tt2831.html

谢谢!

最佳答案

我们遇到了同样的问题,而且文件足够小,所以我们使用了 sc.wholeTextFiles("s3:...foo/*") .

创建 ("<path/filename>","<content>") 的 RDD我们将文件名附加到文件内容以供使用。

How to convert RDD[(String, String)] into RDD[Array[String]]?

关于hadoop - 如何从 pyspark rdd 或分区确定原始 s3 输入文件名,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33974501/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com