java - 使用 Spark(Spark 特定 API)从文件夹访问最新更改的文件

Question

我尝试使用 Spark 的 sc.textfile('/home/sathya/location/*.txt') 访问示例位置中最新添加的文件但是，我需要获取最新添加的文件，而不是获取目录下的所有文件。

谢谢，萨蒂亚拉詹 M

Answer 1

可以从目录中获取最新修改的文​​件，并将其传递给sc.textFile()以在spark中读取。

以下是获取最新修改文件的方法

val directory = new File("/home/sathya/location/")
val allFiles = directory.listFiles
  .filter(_.isFile)
  .sortBy(-_.lastModified())
  .toList

val latestFile = allFiles(0)

这里的latestFile是最新修改的文​​件，现在您可以将最新文件读入spark中

sc.textFile(latestFile)

希望这有帮助!