apache-spark - 如何在 Spark 中定义传入文件的文件命名约定

Question

我在 hdfs 中实时接收文件，它们具有相同的命名约定。

id_name_..._timestamp

我能否以某种方式在 spark (scala) 上定义此命名约定，以便稍后我可以将这些与 ID 进行比较？

谢谢

Answer 1

你使用这样的东西:

注册udf

spark.udf()
  .register("get_only_file_name", (String fullPath) -> {
     int lastIndex = fullPath.lastIndexOf("/");
     return fullPath.substring(lastIndex, fullPath.length - 1);
    }, DataTypes.StringType);

导入 org.apache.spark.sql.functions.input_file_name

#use the udf to get last token(filename) in full path
Dataset<Row> initialDs = spark.read()
  .option("dateFormat", conf.dateFormat)
  .schema(conf.schema)
  .csv(conf.path)
  .withColumn("input_file_name", get_only_file_name(input_file_name()));