gpt4 book ai didi

java - 如何强制 pig 增加 map 数量

转载 作者:行者123 更新时间:2023-12-02 21:40:21 25 4
gpt4 key购买 nike

我有一个高度可并行化的任务。在hadoop中,我可以编写一个任务来使用所有服务器容量。但是Pig只运行1张 map 。

任务非常简单,我加载了一组int(总计120k),然后在udf中分别处理每个int。就像是

LOAD data as (id:int);
result = foreach data generate udf.myFunction(id);
STORE result ...;

最佳答案

Pig将根据输入的大小估计分割的数量(->映射器的数量)。

您可以减小最大拆分大小以获取更多映射器。

SET mapred.max.split.size #bytes

关于java - 如何强制 pig 增加 map 数量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29193836/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com