java - 将 Apache Pig 连接到 Hadoop 集群

Question

我正在使用 Apache Pig 对 Hadoop 集群进行一些数据分析工作。我在hadoop集群中部署了一个集合节点和32个从节点。但是，当我使用 Pig 以 mapreduce 模式运行脚本并连接到该 Hadoop 集群时，它总是只启动一个 map 和一个 reduce。我如何设置 Pig 或 Hadoop 以使用所有 32 个从站？

作业状态如下图所示:

Job Stats (time in seconds):
JobId   Maps    Reduces MaxMapTime  MinMapTime  AvgMapTime  MedianMapTime   MaxReduceTime   MinReduceTime   AvgReduceTime   MedianReducetime    Alias   Feature Outputs
job_1457865367374_0001  1   1   88  88  88  88  27  27  27  27  1-1,access_grouped,access_summed,cleaned,named,raw,timed,timed_grouped,timed_summedMULTI_QUERY  
job_1457865367374_0002  1   1   5   5   5   5   5   5   5   5   access_ordered  SAMPLER 
job_1457865367374_0003  2   1   10  10  10  10  6   6   6   6   density,density_scored  HASH_JOIN   
job_1457865367374_0004  1   1   5   5   5   5   5   5   5   5   timed_ordered   SAMPLER 
job_1457865367374_0005  1   1   5   5   5   5   5   5   5   5   timed_ordered   ORDER_BY    hdfs://master:54310/user/ubuntu/Data/timed_ordered,
job_1457865367374_0006  1   1   5   5   5   5   5   5   5   5   access_ordered  ORDER_BY    hdfs://master:54310/user/ubuntu/Data/access_ordered,
job_1457865367374_0007  1   1   5   5   5   5   5   5   5   5   density_ordered SAMPLER 
job_1457865367374_0008  1   1   5   5   5   5   5   5   5   5   density_ordered ORDER_BY    hdfs://master:54310/user/ubuntu/Data/density_ordered,

顺便说一句，我在主机上安装了 Apache Pig。

Answer 1

SET default_parallel xyz

在 pig 上面的命令赋予了设置 no 的权力。并行任务。但是 hadoop Framework 没有检测到。映射器(基于输入拆分的数量)和缩减器(可以在集群级别或应用程序级别设置)。您不能设置否。您可以为您的应用程序使用映射器，但可以使用缩减器。