hadoop - 如何使用apache pig递归加载文件

Question

我是 Pig 的新手，我有一个非常基本的问题:我可以让 Make Pig 从目录加载所有文件，包括子文件夹中的文件吗？以下是我的处理方式:

records = LOAD '/worldwide/data/' USING PigStorage() AS (event:chararray, user:chararray);

这里，repo/data可能有子文件夹，例如

repo/data/region/cluster1
repo/data/region/cluster2 

我能否让它从这些子目录和将来可能添加的任何新目录中加载所有内容？

Answer 1

确认上述语句有效并将子目录中的所有数据加载到 records 变量中。