hadoop - pig 无法处理大文件

Question

我是Hadoop和Pig的新手。

我已经设置了具有3个节点的Hadoop集群。我写了一个Pig脚本，该脚本通常用于读取数据并对其执行聚合函数。

当我用3600万条记录执行4.8G文件时， pig 在51分钟内给出了输出。

当我以7200万条记录执行9.6G文件时，pig脚本崩溃并且Hadoop提供了以下错误。

无法从支持的错误重新创建异常:AttemptID:attempt_1389348682901_0050_m_000005_3信息:容器被ApplicationMaster杀死。

作业失败，hadoop不返回任何错误消息

我正在使用Hadoop 2.2.0和Pig 0.12.0。

我的节点配置是

主机:2 CPU，2 GB RAM
从站1:2 CPU，2 GB RAM
从站2:1 CPU，2 GB RAM

你能给我建议吗？

Answer 1

经过与Pig的尝试。我搬到了Hive。

我在使用Pig时观察到的是:

我正在HDFS中上传文件，然后将其加载到Pig中。因此Pig再次加载了该文件。我两次处理文件。

对于我的情况，Hive适合。我正在HDFS中上传文件，并在Hive中加载该文件。需要几毫秒的时间。因为Hive正在无缝处理HDFS文件。因此，无需再次在Hive表中加载数据。这样可以节省大量时间。

这两个组成部分都很好，对我来说Hive适合。

感谢您的时间和建议。