apache-spark - 在 RDD 中 Spark 获取文件名

Question

我正在尝试处理 4 个每天都在增长的文本文件目录。我需要做的是，如果有人试图搜索发票编号，我应该向他们提供包含该编号的文件列表。
我能够通过将它们加载为 RDD 来映射和减少文本文件中的值。但是如何获取文件名和其他文件属性呢？

Answer 1

从 Spark 1.6 开始，您可以结合使用 text数据源和input_file_name功能如下:
斯卡拉 :

import org.apache.spark.sql.functions.input_file_name

val inputPath: String = ???

spark.read.text(inputPath)
  .select(input_file_name, $"value")
  .as[(String, String)] // Optionally convert to Dataset
  .rdd // or RDD

python :
(2.x 之前的版本有问题，转换为 RDD 时可能不会保留名称):

from pyspark.sql.functions import input_file_name

(spark.read.text(input_path)
    .select(input_file_name(), "value"))
    .rdd)

这也可以与其他输入格式一起使用。