hadoop - Pig脚本中最大的存储语句最大数量是多少？

Question

到目前为止，我在Pig脚本中仅使用了两个store语句。在单个PIG脚本中使用多个store语句是否有限制？

 A = load 'page_views'; 
store A into 'tmp1' using PigStorage();
 B = load 'tmp1' using PigStorage();
 C = filter B by $0 is not null; 
store C into 'tmp2';
....
....
store D into 'tmp3';

Answer 1

具有多个存储命令的脚本会导致很多重复的工作，但这很大程度上取决于您使用PIG的方式。从技术上讲，单个脚本中没有最大存储语句数。但是，如果做错了，则可能会遇到一些性能问题。 Apache PIG Wiki中有关于性能的相当整洁的文章，您可能会找到有用的阅读 Material 。在多查询优化方面，还有an issue filed in Jira。