hadoop - 如果PIG使用默认设置处理1 TB数据会怎样？

Question

我读到PIG将根据输入文件的大小分配 reducer 的数量。对于每个GB，将分配一个reducer，最大数量为默认的999个reducer。我使用默认设置处理TB的数据吗？

Answer 1

您获得的 reducer 数量取决于您选择的数量或使用的是基本公式(请参见下文)。您可以通过运行SET default_parallel 20;例如将其设置为20来进行设置。请参见http://pig.apache.org/docs/r0.8.1/piglatin_ref2.html#set
pig.exec.reducers.max只是一个上限。如果未显式设置化简器的数量，则使用以下公式MIN (pig.exec.reducers.max, total input size (in bytes) / bytes per reducer)，其中每个化简器的字节数由pig.exec.reducers.bytes.per.reducer设置，默认值为1GB。