apache-spark - 读取 Spark 中嵌套文件夹中的所有文件

Question

如果我们有一个文件夹 folder 包含所有 .txt 文件，我们可以使用 sc.textFile("folder/*.txt") 读取它们。但是，如果我有一个文件夹 folder 包含更多名为 datewise 的文件夹，例如 03、04 ...，其中还包含一些.log 文件。我如何在 Spark 中阅读这些内容？

就我而言，结构更加嵌套和复杂，因此首选一般答案。

Answer 1

如果目录结构是规则的，可以这样说:

folder
├── a
│   ├── a
│   │   └── aa.txt
│   └── b
│       └── ab.txt
└── b
    ├── a
    │   └── ba.txt
    └── b
        └── bb.txt

您可以对每个嵌套级别使用 * 通配符，如下所示:

>>> sc.wholeTextFiles("/folder/*/*/*.txt").map(lambda x: x[0]).collect()

[u'file:/folder/a/a/aa.txt',
 u'file:/folder/a/b/ab.txt',
 u'file:/folder/b/a/ba.txt',
 u'file:/folder/b/b/bb.txt']