scala - Spark如何读取文件名开头带下划线的文件？

Question

当我使用Spark解析日志文件时，我注意到如果filename的第一个字符是_ ，结果将为空。这是我的测试代码:

SparkSession spark = SparkSession
  .builder()
  .appName("TestLog")
  .master("local")
  .getOrCreate();
JavaRDD<String> input = spark.read().text("D:\\_event_2.log").javaRDD();
System.out.println("size : " + input.count());

如果我将文件名修改为 event_2.log ，代码将正确运行它。
我发现 text函数定义为:

@scala.annotation.varargs
def text(paths: String*): Dataset[String] = {
  format("text").load(paths : _*).as[String](sparkSession.implicits.newStringEncoder)
}

我认为这可能是由于 _是 Scala 的 placeholder .我怎样才能避免这个问题？

Answer 1

这与 Scala 无关。 Spark 使用 Hadoop Input API 来读取文件，它会忽略所有以下划线( _ )或点( . )开头的文件

我不知道如何在 Spark 中禁用它。