java - Hadoop-级联: Partial directory source tap

Question

我的数据结构如下:

+data
|-2014080700_00.txt
|-2014080700_01.txt
|-2014080701_00.txt
|- ...
|-2014080723_00.txt
|-2014080800_00.txt
|- ...
|-2014090800_00.txt

我知道我可以通过 Tap 使用数据目录中的所有文件，如下所示:

Tap inTap = new Hfs( new TextLine(), "/path/to/data"); 

但我想要目录的特定部分，例如日期为 20140807 的文件。因此它将包括所有前缀为 20140807 的文件。有没有办法用级联来做到这一点？或者有什么方法可以烫一下吗？

Answer 1

我不认为你可以使用 Hfs 来做到这一点, 但它是 可能使用 GlobHfs .

尝试以下操作:

Tap inTap = new GlobHfs( new TextLine(), "/path/to/data/", new GlobFilter("20140807*"));

这将创建一个 Globbing tap，使用“/path/to/data/”目录作为源并使用传递给 GlobFilter 的 “20140807*” glob 模式过滤其中的文件.